우리는 현상에 대한 이유를 찾고 싶어하는 욕구가 있다. 아마도 우리가 진화의 과정에서 패턴 인식과 인과의 추론 능력을 가지는 편이 적응도가 높았기 때문일 것이다. 이유야 어찌 되었든 우리는 끊임없이 현상에 대한 설명을 찾는다. 고대에 번개가 치는 것을 보고 원인에 대한 궁금증이 생기고 이는 번개의 신 제우스, 토르, 인드라를 낳게 되었다. 오늘날에는 번개는 전하를 띈 구름과 구름 혹은 구름과 대지 사이의 방전 현상이라는 설명을 한다.

설명을 찾는 것을 가설 공간hypothesis space에서의 모델 선택model selection 문제로 생각할 수 있다. 우리에게는 같은 현상을 설명할 수 있는 대단히 많은 가설이 있고, 보통은 그 중 특정 모델을 선택하여 사용하게 된다.¹ 같은 현상을 똑같이 잘 설명할 수 있는 모델이 여럿 있다면 그 중 어떤 모델을 선택해야 할까? 오컴의 면도날은 다음의 규칙을 제안한다.

같은 현상을 설명할 수 있는 여러 모델이 있다면 단순한 모델을 선택하라.

오컴의 면도날을 뒷받침하는 주장은 꽤 있다. 경험적인 이유 중 하나로 단순한 모델을 선호하는 편이 과적합overfitting을 피하도록 도와주는 것이 있다. 기계 학습에서 너무 복잡한 모델은 불필요한 잡음조차 설명하려 하기 때문에 과적합이 일어난다. 이를 막는 유용한 방법 중 하나는 단순한 모델을 강제하는 것이다.² 그 외에 현실적인 이유도 있다. 우리는 단순한 모델은 상상할 수 있으나 임의의 복잡한 모델은 상상조차 할 수 없다.

오컴의 면도날을 받아들여서 복잡한 모델보다 단순한 모델을 선택한다고 하자. 이제 문제는 모델의 복잡도를 어떻게 측정하는지의 문제로 변하였다. 일견 번개에 대한 설명으로 신을 제시하는 것이 구름과 대지 사이의 방전 현상보다 더 간단한 설명 같다. 하지만 신은 무척 복잡한 현상을 가리키는 이름에 불과하다. 이런 간접화indirection를 전부 고려한 복잡도를 따질 수 있어야 같은 층위에서 논의하는 것이 가능할 것이다.