수리논리학 책을 읽고 나서... (1)

최근에 수리논리학 책을 두 권 읽었다. (괴델의 증명, 불완전성: 쿠르트 괴델의 증명과 역설, 둘 다 승산출판사) 수리논리학에서 괴델의 이름은 빠질 수가 없다. 여태 읽었던 책 중 손꼽을 정도로 안 읽히는 책이었지만, (철학책인지 수학책인지…) 전체 내용을 파악하는 데에는 큰 어려움이 없었다. 그리고 숫자와 수식과 그래프만 좋아하던 나에겐 굉장히 신선한 분야이기도 했다. 독후감 겸 해서 좀 썰을 풀어보고자 한다.

==== 

기하학은 고대 이집트부터 이미 있던 학문이다. 하지만 그 당시 기하학은 체계화된 학문이라기보단, 지식의 파편들만이 존재했다. 이걸 체계화한 인물이 유클리드(B.C. 365? ~ B.C. 275?)다. 유클리드의 대표 업적 중 하나는 기하학을 연역적 추론이 가능한 학문으로 만든 것이다. 즉, “A이면 B이다”와 “B이면 C이다”가 모두 참이면 “A이면 C이다”도 참임을 기하학에 적용하였다. 하지만 기하학의 모든 정리를 연역 추론이 가능하게 만들려면, 어쨌든 시작점이 있어야 한다. 그래서 유클리드는 기하학의 다섯 가지 공리 - 증명하지 않고 참으로 인정하는 명제 - 를 정했고, 나머지 정리들을 이 다섯 개의 공리로부터 추론하는 식으로 기하학의 기초를 다졌다. 기하학이 제대로 된 학문으로 탄생한 순간이다. 오늘날 우리가 ‘유클리드 기하학’이라고 부르는 학문이 바로 이때, 무려 2300년 전에 만들어졌다.

그런데 약간의 문제가 있었다. 우선 유클리드가 정한 다섯 개의 공리를 보자. (원래는 이보다 복잡하지만, 이해를 쉽게 하기 위해 말을 좀 간단히 바꿔봤다.)

1. 서로 다른 두 점을 지나는 직선은 유일하다.

2. 선분은 양끝으로 얼마든지 연장할 수 있다.

3. 한 점(중심)과 반지름의 길이가 주어지면 원을 그릴 수 있다.

4. 직각은 모두 같다.

5. 주어진 직선 위에 있지 않은 점을 지나며 이 직선과 평행한 직선은 단 하나만 그릴 수 있다. 이 두 직선은 무한히 연장해도 만나지 않는다.

앞 네 개의 공리를 자명해보인다. 문제는 다섯 번째 공리다. 일명 ‘평행선 공리’라 부른다. 일단 앞 네 개보다 길고 복잡하다. 그리고 의미가 명확하지 않은 단어가 있다. 바로 ‘무한’이다. 지금이야 무한의 개념에 대해 많은 연구가 이루어져있지만, 유클리드가 살던 당시에는 무한의 개념이 제대로 잡혀있지 않았다. (사실 무한의 개념은 십 수 세기가 지나서야 잡히기 시작했다.) 직선을 무한히 연장한다는 게 도대체 무슨 뜻인가? 얼마나 길게 연장해야 무한이라고 하는가? 그리고 유한한 범위에서 만나지 않는다고 무한에서도 만나지 않는다는 걸 어떻게 보장하는가?

그래서 유클리드 본인도 꺼림칙했다보다. 기하학의 정리들을 가급적이면 앞 네 개의 공리만을 이용해서 증명하려고 했다. 물론 잘 되지 않았다. 당장 삼각형의 내각의 합이 180도라는 것만 해도 평행선 공리를 사용한다. 그리고 후세의 수학자들은 “혹시 평행선 공리가 앞 네 개의 공리로부터 추론할 수 있는 ‘정리’이지 않을까?”라는 질문을 가졌고, 이 질문의 참/거짓을 밝히기 위해 무던히도 노력했다. 무려 2000년이나.

이 노력이 잘 되지 않자 수학자들은 19세기에 들어 전략을 바꿨다. 평행선 공리가 공리가 아닌 ‘정리’라면, 평행선 공리를 거짓으로 하는 공리계는 어디선가 모순이 발생할 것이라는 가설을 세웠다. 즉, 평행선은 존재하지 않는다거나, 평행선이 두 개 이상 존재한다고 가정을 하고, 거기에서 파생되는 정리들을 살펴보기로 했다. 평행선 공리가 나머지 공리들로부터 필연적으로 추론되는 것이라면 어디선가 모순이 생겨야 했다. 유클리드 기하학의 공리계에 귀류법을 적용한 것이다.

그런데 놀라운 일이 벌어졌다. 아무런 모순이 생기지 않았다. 평행선이 존재하지 않는 공리계를 만들었더니 그 나름대로 새로운 기하학 체계를 만들 수 있었다. (이를 타원 기하학 또는 리만 기하학이라 부른다. 훗날 일반 상대성 이론에 큰 도움을 주었다고 한다.) 평행선이 두 개 이상 존재하는 공리계에서도 마찬가지였다. (쌍곡 기하학이라 부른다.) 이렇게 ‘비유클리드 기하학’이 탄생했다. 인류는, 그리고 특히 수학자들은 2000년 가까이 유클리드 기하학이 절대진리이며, 이외의 기하학 체계는 가능하지 않다고 정말 굳게 믿어왔다. (굳게 믿은 사람 중엔 임마누엘 칸트도 있었다.) 하지만 가능한 기하학 체계가 유일하지 않다는 사실이 밝혀졌고 수학계는 한 차례 쇼크를 받게 된다.

이 발견은 절대 가볍게 볼 성질의 것이 아니었다. 수학의 많은 분야는 각자 몇 개의 공리를 토대로 하여 체계를 구성해나가고 있었다. 그리고 그 공리들은 ‘자명해 보이는’ 것들로 선택되었으리라. 한 번 공리계가 잡힌 시스템은 다른 가능성이 없는 완전무결한 것으로 여겨졌을 것이다. 하지만 꼭 그렇지만은 않다는 사실이 비유클리드 기하학의 발견을 통해 처음으로 밝혀진 것이다. 즉, 공리계는 공리를 선택하기 나름이라는 것이다!

수학자들 중에는 이런 고민을 하는 사람들이 있다고 한다. 지금 우리가 ‘당연하다’라고 여기는 여러 수학 체계(산술학, 기하학, 논리학, 집합론 등)들은 필연적 귀결인가? 혹시 인류의 문명이 다른 종류의 수학 체계를 발전시켰을 가능성은 없는가? 시간을 되돌려 인류 문명을 처음부터 다시 시작한다고 해도 지금과 동일한 수학 체계가 발전했을까? ‘그렇다’고 생각하는 이들도 있고 ‘아닐지도 모르지’라고 생각하는 이들도 있다고 한다. 답을 안들 크게 달라지는 건 없겠다만.

이어서…