초, 중, 고등학교로 이어지는 십여 년간의 정규 교육과정 속 아이들에게 가장 싫어하는 과목이 뭐냐고 물으면 대부분 수학을 꼽을 겁니다. 아무리 들여다봐도 비슷비슷한 숫자가 만드는 괴상한 공식과 그래프 속에 눈이 핑핑 돌아가고, 그 학습의 결과마저 평균과 도수분포라는 수학적 기법에 의해 평가받는 체계에서 도대체 이 과목이 무슨 쓸모가 있느냐며 하늘을 보고 한숨을 쉬었던 기억은 저도 별반 다를 바 없습니다.

하지만 수학만큼 또 마니아가 많은 학문도 없습니다. 이른바 수학에 미쳤다고 부를 만한 사람은 역사 속에 한두 명이 아니었습니다. 영화 <뷰티풀 마인드>의 주인공이었던 존 내쉬, 오늘날 컴퓨터의 기초적 이론이 된 디지털 방식의 계산법을 고안해 낸 폰 노이만(그는 원자폭탄 개발 계획에도 참여합니다) 등은 모두 수학에 미친 시대의 천재였습니다. 천재들이 헤어날 수 없을 정도의 매력을 뿜어내는 학문이 수학의 또 다른 면이기도 합니다.

과연 수학의 어떤 면이 그 수많은 천재들을 매혹했을까요? 오늘 소개할 『페르마의 마지막 정리』는 바로 그 수학의 신비로운 매력이 최근까지 몇백 년간 작용했던 한 수학 정리의 역사를 통해 근대 수학의 역사를 함께 되짚어 보는 독특한 인문교양서입니다.

『페르마의 마지막 정리』는 수학사에 큰 발자취를 남겼던 페르마라는 학자가 남긴 짧은 메모에서 비롯됩니다. 그는 근대 수학의 성립 시기에서 많은 수학적 정리에 큰 업적을 남겼는데, 그가 죽기 전 남긴 한 메모는 수백 년간 이어진 수수께끼의 시작이 됩니다.

““xⁿ+yⁿ=zⁿ에서 n이 3 이상의 정수일 때, 이 방정식을 만족하는 정수해 x, y, z는 존재하지 않는다. 나는 경이적인 방법으로 이 정리를 증명했으나, 이 책의 여백이 너무 좁아 여기 옮겨 두지는 않겠다….”

어찌 보면 무척 건방진 설명입니다. 뭔가 어려워 보이는 수식 하나를 두고, 하나의 정리를 내려놓고는 그 정리를 증명했지만 여백이 좁아 따로 쓰지는 않겠다니… 마치 별것 아니라는 듯이 써 둔 저 해설은 그러나 후대에 엄청난 폭풍을 몰고 옵니다.

우선 수학에서 정리와 증명이 어떤 의미가 있는지를 살펴볼 필요가 있습니다. 수학은 현존하지 않는 이상, 관념 속에만 존재하는 논리로만 이루어진 학문입니다. 유명한 플라톤의 이데아(Idea) 비유를 생각하면 적절한데, 우리가 원을 그린다고 해서 그 원이 진짜 100% 원인 것이 아니라, 다만 원을 바라보며 원의 이데아를 상상할 따름이라는 것입니다. ‘1+1=2’라는 공식은 세상에 존재하지 않는 관념적인 것, ‘수’의 합계를 우리가 보기 편한 ‘숫자’와 ‘공식’으로 표현한 것에 불과합니다.

눈에 보이지 않는 것들의 논리전개이기 때문에 수학의 모든 정리는 그것이 맞느냐 아니냐를 100% 논리 기반에서 증명할 수 있어야 합니다. 증명되지 않은 논리는 참이라고 부를 수 없기 때문이지요. 조금 어렵겠지만, 페르마의 마지막 정리보다 쉬운 ‘피타고라스의 정리’를 가지고 정리와 증명의 예를 한번 들어보겠습니다.

a²+b²=c², 직각삼각형의 직각을 낀 두 변의 제곱을 더하면 빗변의 제곱과 같다는 정리입니다. 이 정리가 인정받으려면 증명이 필요한데요, 위 증명은 그 한 예입니다.

직각삼각형이기 때문에, 직각이 아닌 두 각의 합은 90도입니다. 따라서 이 삼각형의 서로 다른 각이 맞닿고 변이 일직선을 이루게 배치하면 그림처럼 네 개의 직각삼각형으로 한 변의 길이가 a+b인 큰 정사각형이 생깁니다.

이때, 큰 정사각형의 넓이는 한 변의 길이인 a+b의 제곱, (a+b)²가 됩니다. 그 안에는 그림처럼 작은 형태의 또 다른 정사각형이 생기는데, 큰 정사각형의 넓이는 따라서 작은 정사각형 + 직각삼각형 네 개의 넓이와 같은 값이죠.

이를 수식으로 정리하면 (a+b)²=c²+4x½ab로 정리됩니다. 그리고 양쪽 식을 풀어내면 위의 정리는 증명되는 셈이지요.

수학자 페르마 (본명 : Pierre de Fermat)

제가 서두에 간단하고 쉬운 예시라고 했지만, 막상 간만에 풀어보면서도 결코 쉽지 않은 정리입니다. 이런 식으로 하나의 수학적 정리를 증명하려면 다양한 수학적 기법과 사고력, 논리력이 총동원됩니다.

페르마의 마지막 정리는 그 정도가 더욱 심했습니다. 당대의 유명한 수학자들이 모두 달려들었고, 유명한 학회에서는 페르마의 정리 해결에 어마어마한 상금도 걸었습니다. 컴퓨터가 개발되면서 페르마의 정리를 증명하려고 슈퍼컴퓨터도 동원되었지만, 그조차도 풀리지 않았습니다. 오죽하면 이런 농담들이 나오는 정도였습니다.

「악마는 남자에게 내기를 건다. 악마가 24시간 내에 남자의 질문에 대답하면 악마는 남자의 영혼을 갖고, 실패하면 남자에게 10만 달러를 주는 내기다. 남자는 한참 고민한 끝에 마침내 질문한다. “페르마의 마지막 정리가 정말 맞는 것인가?” 악마는 전 세계를 다니며 대답하기 위한 정보를 수집했으나, 결국 실패하고 말았다. 심지어 다른 행성의 수학자들조차도 모른다는 것이었다.」(99쪽)

「뉴욕 8번가 지하철역에서 발견된 낙서 한 토막 –
xⁿ+yⁿ=zⁿ, 이 방정식에는 정수해가 존재하지 않는다.
나는 경이적인 방법으로 이 정리를 증명했지만,
내가 탈 기차가 오고 있기 때문에 여기 적을 만한 시간이 없다!」

수수께끼는 그 난이도가 더하면 더할수록 사람을 잡아끄는 매력이 있습니다. 페르마의 마지막 정리는 끝내 증명되지 않았고, 그렇기에 더더욱 많은 학자가 매달렸습니다. 20세기 들어 새로운 수학 기법이 더욱 많이 개발되고, 컴퓨터의 도움을 얻어 복잡한 계산을 더 빠르게 끝내게 되면서 페르마의 정리를 증명할 수 있다는 희망은 더욱 커졌지만, 아직 그 희망은 눈앞에 다가오지는 못했습니다.

당장 90년대 이전에 학창생활을 하신 많은 분들, 그중 특히 수학 문제집을 푸는 것이 매우 귀찮았던 분은 문제풀이 중간 중간의 ‘쉬어가는 수학코너’ 같은 부분만 열심히 보셨을 텐데, 그 속에는 꼭 ‘페르마의 마지막 정리’가 있었던 것을 기억하실 겁니다. “그러나 아직 이 정리는 증명되지 못한 채 수수께끼로 남아있다”라고 되어있던 것도 기억나시는지? 분명 90년대까지도 페르마의 정리는 해결되지 못한 수학계의 커다란 난제였습니다.

페르마의 마지막 정리를 증명한 수학자 앤드루 와일즈(Andrew Wiles)

그러던 와중, 1993년 어느 날 벼락같은 소식이 수학계를 강타합니다. 프린스턴 대학의 수학자 앤드루 와일즈가 7년여 간의 오랜 칩거생활 동안 오직 페르마의 정리 증명에만 몰두한 끝에 마침내 정리를 증명했음을 밝히는 공개 강의를 열었던 것입니다.

강의는 매우 극적이었습니다. 그는 강의 제목 자체에 페르마의 이야기는 언급도 하지 않고, 자신이 페르마의 정리 증명에 사용하고자 했던 핵심 정리인 ‘타니야마-시무라의 추론’에 대한 증명 이야기뿐이었습니다. 그러나 와일즈가 그 증명을 통해 페르마의 정리까지 증명하려 한다는 사실이 입에서 입으로 전해졌고, 총 3일에 걸친 강의는 전 세계 수학자들의 이목을 집중시켰습니다. 사람들은 와일즈가 언제쯤 페르마 이야기를 꺼낼지 기대하면서 지켜보았고, 마침내 마지막 날 와일즈는 그의 2박 3일짜리 정리 끝에 페르마의 정리를 단숨에 칠판에 쓰고 증명해내고서, 분필이 딱 부러지게 마침표를 찍으며 말합니다. “이쯤에서 끝내는 게 좋겠습니다.”

우레와 같은 박수 소리가 그의 말을 이어주었고, 곧바로 전 세계 언론이 페르마의 수수께끼가 풀렸음을 세계에 타전한 아찔했던 순간이었습니다.

와일즈는 초등학교 시절, 도서관에서 우연히 페르마의 마지막 정리에 대한 이야기를 본 뒤 평생을 그 증명에 바치겠다고 마음먹었다고 합니다. 그리고 실제로 수학과로 진학해 페르마의 정리에 도전했던 수많은 대(大)수학자들의 실패 사례와 교훈을 모았고, 현대 신수학의 새로운 개념을 하나하나 모아 새로운 방향에서의 접근을 준비했습니다. 그리고 마침내 인류 역사상 최고로 난해했던 수수께끼를 공략해 낸 것입니다.

인문학 분야의 어렵고 고고한 이야기를 쉽고 재미있게 풀어내기로 유명한 영국 BBC의 다큐멘터리를 원작으로 하여 책으로 풀어낸 『페르마의 마지막 정리』는 영미 일반 인문교양서의 보편적 덕목을 잘 갖춘 책입니다. 대체로 영어권의 인문 교양서는 일반인이 쉽게 접하기 어려운 학문 분야를 역사적 사실과 접목하면서 일반인의 호기심과 재미를 극도로 끌어올리는 형태인데, 이 책도 다르지 않습니다. 페르마의 정리 자체에 수학적으로 기대기보다는 수많은 수학자가 보여준 역사, 2차대전 당시 수학에 기초한 암호문이 보여준 새로운 정보전, 앤드루 와일즈가 보여주었던 극적인 강의내용 등을 배합하여 읽기 좋게 만들어낸 수학 교양서입니다.

어찌 보면 학문 중 가장 진리에 가까이 닿아 있는 것이 수학이라고 합니다. 모든 감각적 요소가 제거된 채 순수한 관념만을 연구하는 학문이기에 수학에는 편견도 없고 오차도 없습니다. 하지만 그렇기에 수학은 한편으로 고독하고 지루하며 냉혹합니다. 어떤 이는 그것이 오히려 수학의 매력이 아니냐며 껄껄 웃지만, 고등학교 시절 수학을 지겨운 문제풀이만으로 접했던 일반인에게는 수학이 그리 친숙한 분야는 아닐 것입니다. 하지만 이 책에서처럼 새로운 접근을 통해 수학의 세계에 다가간다면 미적분은 몰라도 페르마의 수수께끼가 지닌 매력에는 흠뻑 취할 수 있을 것입니다.

수학의 난제를 다룬 유사한 수학 일반교양서로는 『리만 가설』이 있습니다. 그러나 『페르마의 마지막 정리』보다는 어려우니 읽으실 때 유의하시기 바랍니다.

--------------------------------------

YES24 직원. 그러나 책을 만지기 힘든 부서에서 전화에 시달리며 글을 쓰고 있다. 너무 우아하고 고고한 이미지가 되어버린 책 읽기가 어느 날부터 부담스러워지기 시작했고, 그 뒤로는 어디 가서 취미가 책 읽기라고 말하지 않는 사람이 되었다. 책보다 좋은 것은 먼지 날리는 시골 비포장도로에서 하루 두 번 오는 버스 기다리며 담배 한 대 피우는 시간이라고 말하는 그는 나이가 좀 더 들고 감성과 지성이 경륜으로 불릴 쯤이 되면 포크 가수로 전업할 생각을 가지고 있다.