일기를 쓰는 것은 사람마다 다른 가치가 있을 것이다. 나에게 일기를 쓰는 것은 그 날 잠시 머리를 지나갔던 생각을 다시 곱씹어보는 행위이다. 다음은 어느 날의 일기의 일부이다.

점심 먹는 내내 고민하였는데, 그때 당시 괜찮은 아이디어라고 생각했던 것이 나중에 보니 뭔가 부족한 느낌이 든다. 생각의 흐름을 떠올려보면 다음과 같다. Abstraction과 indirection의 차이에 대해 고민하고 있었다. 고민해보니 abstraction과 indirection이 완전 별개의 개념은 아니라는 생각이 들었다. 이는 예전에 하마형이랑 대화하면서도 나왔던 이야기이다. 당시에 비슷하지만 약간 다른 개념을 분리해서 설명하는 것에 대한 이야기가 나왔던 것이 떠올랐다.

개념 공간이 있다면 이는 꽤 고차원 공간일 것만 같다. 어떠한 증거도 없으니 이는 나의 prior일 뿐이다. 아무튼 만약 그렇다면 basis를 어떻게든 찾아내더라도 유용한 개념은 굉장히 많은 basis의 linear combination으로 표현될 것 같다. 이보다 더 유용한 것은 overcomplete한 유용한 개념 벡터의 dictionary를 만드는 것이다. 그렇다면 이를 활용해서 다양한 개념을 소수의 개념 벡터의 linear combination으로 표현하는 것이 가능할 것이다.

개념이 embedding된 공간에 대한 고민으로 생각이 이르렀다. 개념 사이에 의미 있는 관계는 무엇이 있으며 연산은 무엇이 있을까? Neural word embedding의 예를 보면 어떤 공간 전체가 의미를 담고 있는 것이 이상한 것은 아니다. 하지만 내가 알고 있는 개념을 linear combination을 해서 새로운 개념을 만들어 낸다는 것이 아직 와 닿지 않는다.

Neural word embedding을 비유로 삼아보자. 벡터 사이의 연산 queen - king + uncle = aunt가 나오는 것은 결국 특정 벡터가 “여성”이라는 의미를 담고 있음을 시사한다. 임의의 벡터 연산이, 가령 queen 벡터와 bird 벡터를 더하고 빼는 게, 무슨 의미가 있는지는 여전히 잘 모르겠지만 어찌 되었든 공간이 의미를 담고 있고 임의의 연산을 취해보는 것도 가능하다는 말이 된다.

첫 문단과 두 번째 문단은 점심 식사를 하며 생각했던 내용을 정리한 것이며 뒤에 있는 세 번째와 마지막 문단은 이를 다시 곱씹으며 새롭게 든 생각이다. 이렇듯 일기를 쓰는 것은 생각을 다시 차분하게 곱씹는 시간을 준다.

이런 과정을 거친다고 구체적인 결론이 나는 것은 아니다. 대부분은 위와 같은 공상 수준에서 생각이 멈추게 된다. 하지만 그날그날 잠시 떠오른 생각을 다시 글로 써보고 이에 대한 생각을 확장하는 과정이 매일 반복되다 보면 생각이 더 자라는 것 같다. 말과 생각은 흘러가는 것이다. 글은 그렇지 않다. 글은 생각을 다루는 강력한 도구이다.