한 권만 뽑으라면…

세상에서 가장 유명한 낙서를 꼽으라면, 아마도 “요즘 젊은 애들은 버릇이 없어.”라고 적혀있다는 폼페이 유적의 낙서가 아닐까. 아니면 바스키아의 그림들은 어떨까. 학자들, 특히 수학자들에게는 이런 낙서들보다 더 악명이 높은 낙서가 있다. 피에르 드 페르마가 자신의 기하학 책에 휘갈겨 쓴 두 줄이 바로 그것이다.

1601년 프랑스에서 태어난 피에르 드 페르마는 변호사, 판사와 지방의회 의원으로 평생을 살았다. 이렇게 말하면 참 이상하지만, 수학은 그에게 취미에 불과했다. 재판 업무를 처리하는 데에 대부분의 시간을 보냈고, 대인관계도 거의 없었다. 게다가 그가 수학 교육을 받았다는 기록도 없다. 하지만, 수학사에 끼친 영향이 컸다. 극대, 극소값 이론은 미적분 탄생에 기틀이 되었다. 그는 늘 1574년에 출간된 디오판토스의 <아리스메티카> 들고 다녔다고 한다. 수학 역사에서 가장 대단한 난리법석이 이 책의 여백에서 비롯된다.

피타고라스의 삼각수는 X2＋Y2=Z2으로 정리된다. 이 조건을 충족하는 정수는 무수히 많다. 그리고 이 숫자들은 모두 직각삼각형의 세 변을 이룬다. 피타고라스의 정리는 수학, 특히 정수론의 탄생기에 해당한다. 페르마의 정리는 피타고라스의 정리에서 한 걸음만 더 나아간 모양새이고, 아주 단순하다. 그는 <아리스메티카> 제2장 여덟번째 문제 밑에 이렇게 적었다.

“Xn＋Yn≠Zn (N>2),
나는 경이적인 방법으로 이 정리를 증명했다. 그러나 책의 여백이 너무 좁아 여기에 옮기지 않겠다.”

약올리는 듯한 이 말투는 요즘 말로 하면 최고의 떡밥이었다. 페르마가 메모를 남긴 지 100년이 지나 당대 최고의 수학자인 레온하르트 오일러 역시 여기에 낚였다. 오일러는 페르마의 정리에서 N이 3인 경우부터 증명하기로 한다. 결국 허수의 개념을 도입해서 N이 3인 경우에 페르마의 정리가 맞다는 것을 증명한다. 하지만, 3 이외의 숫자에 대해서는 증명할 방법이 없었고, 페르마의 정리는 여전히 내로라 하는 수학자들의 도전 요구를 불러일으키는 난제로 남았다.

미국 클레이수학연구소는 2000년, 밀레니엄 문제 수학 7대 난제를 정하고 이 문제에 상금을 건다. 상금은 한 문제 당 100만 달러였다. 푸앵카레 추측을 포함한 7개 문제 중 일부는 아직도 풀리지 않았다. 이 문제들 역시 난제임은 확실하겠지만 ‘페르마의 마지막 정리’가 가진 매력에는 미치지 못한다. 수학의 기원에 뿌리를 두고 있는 단순한 문제, 고작 ‘책의 여백이 좁아’ 전해지지 않았다는 기막힌 사연, 여기에 도전했다가 실패했던 많은 수많은 천재들의 노력은 이 문제를 단순한 수학 문제를 넘어서게 했다.

앤드루 와일즈는 1953년 영국에서 태어났다. 캐임브리지에서 수학을 전공했으며, 그의 가장 유명한 업적 역시 캐임브리지의 아이작 뉴턴 수리과학연구소에서 한 강연이었다. 1963년, 열 살배기 소년이었던 앤드루 와일즈는 <최후의 문제>라는 책에서 페르마의 문제를 접한다. 그리고 1993년 6월 “이쯤에서 끝내는 것이 좋겠습니다.”로 끝나는 강연을 마칠 때까지 30년 간 이 문제를 푸는 일에 매진한다.

“그것은 너무나 단순한 문제였습니다. 열 살배기인 저도 문제의 내용을 정확하게 이해할 수 있었지요. 그런데 그 문제를 푼 수학자가 아무도 없다는 거였습니다. 그 순간 저는 어떤 운명 같은 걸 느꼈어요. 이 문제를 내가 풀어야 한다는 일종의 의무감 같은 거였지요. 그날 이후로 <페르마의 마지막 정리>는 한시도 제 머릿속을 떠나지 않았습니다.”

30년 후, 앤드루 와일즈의 증명은 페르마가 말한 ‘경의로운 방법’은 아니었다. 왜냐하면, 페르마 이후 350년 간 쌓인 수학적 업적을 총동원해야 했기 때문이다. 페르마의 정리가 틀렸고 그래서 페르마의 방정식에 맞는 정수가 존재한다고 가정한 다음, 이런 가정이 틀렸다는 것을 증명하는 과정에서 타원 방정식의 연구, 타니야마-시무라의 모듈에 대한 추론을 이용한다.

이 책의 가장 큰 미덕은 두께와 말투에 있다. 피타고라스부터 페르마를 거쳐 앤드루 와일즈에 이루기까지 수학사의 몇 장면들을 깊이 있게 다루면서도 그리 두껍지 않다. 또, ‘열 살배기도 이해할 만한 문제’를 다루면서 열 살배기도 이해할 수 있는 말투를 썼다. 다음 강의로 넘어가기 전에 이번 강의와 그 이전 강의까지 한 차례 더 설명하는 친절한 선생처럼, 예습과 복습, 쉬어가는 페이지가 알맞게 배열돼있다.

사이먼 싱은 이 책을 구성하면서 꼭 다뤄야 할 수학자들의 명단을 뽑는 것에서 시작했을 것이다. 그가 관심을 가지는 것은 페르마의 문제와 그 해답보다는 문제를 풀기 위해 노력하는 사람들이다. 피에르 드 페르마, 앤드루 와일즈, 다니야마 유타카, 시무라 고토, 앨런 튜링, 레온하르트 오일러, 쿠르트 괴델, 에바리스트 갈루아가 적절한 시점에 등장한다. 저자가 각본을 쓰고 위대한 수학자들이 배역을 맡은, 한 편의 연극으로 보아도 무방하다.

수학은 쓸모가 없다고 생각하거나, 어떤 책에 적혀있는 것처럼 ‘적어도 케이크를 나누는 데에는 필요하다’고 생각할 수도 있다. 350년이나 걸려서 증명해냈지만 페르마의 정리를 증명한 것이 무슨 의미가 있는지 의심할 수도 있다. 그러나, 이 책을 읽다 보면 자연의 배후에 숨어있는 숫자의 원리를 캐내려고 하고, 수수께끼를 풀려고 낑낑대는 수학자가 당신 안에도 살고 있다는 것을 분명하게 느낄 것이다.

더 읽는다면…

우리 수학자 모두는 약간 미친 겁니다

폴 호프먼 저 ㅣ 승산

평생 별다른 직업이나 재산도 없이 여행했고, 가족을 이룬 적도 없었다. 수학 노트와 옷가지를 챙겨 넣은 가방을 들고 다니며 동료 수학자의 문 앞에 나타나 "My brain is open"이라고 선언하고 수학 문제를 연구한다. 그렇게 이 대학 저 대학, 연구소에서 연구소로 돌아다니며 전세계 500여 명의 연구자와 수천 편의 논문을 발표했다. 폴 에어디쉬 지표는 폴 에어디쉬를 중심으로 전세계 수학자의 관계도를 그린 것이다. 원서보다 번역서 제목이 좋은 경우가 있는데, 이 책이 그렇다. 원서 제목은 <숫자만을 사랑한 사람(Man who loved only numbers)>이다.

샘 로이드의 수학 퍼즐

샘 로이드 저 ㅣ 보누스

1841년에 태어난 샘 로이드는 퍼즐의 왕으로 불린다. 19세기 후반부터 20세기 초까지 신문과 잡지에 1만 개가 넘는 퍼즐을 연재했다. 체스 선수로서도 세계 랭킹 15위까지 올랐다고 하니 두뇌 회전이 천재급이었던 셈이다. 짤막한 퍼즐들이지만 마냥 쉽게 볼 문제들은 아니다. 누구나 '페르마의 정리'를 증명할 수는 없는 노릇이니 유서 깊은 고전 수수께끼들로 대신하면 어떨까.

괴델, 에셔, 바흐

더글러스 호프스태터 저 ㅣ 까치

가만히 보면, 당대의 여러 가지 학술적 문제들이 쿠르트 괴델에서 파국을 맞는 것을 확인할 수 있다. 그리스로마 신화의 매듭을 풀기보다는 잘라버리는 것처럼, 쿠르트 괴델은 여러 면에서 근대 패러다임의 파국이다. 이 괴델을 설명하는 데에 에셔를 활용한 것은 참 고마운 일이다. 완전성이 결국 그 완전성 때문에 불가능하다는 것을 미술과 음악에 빗대어 보여줬다.

‘대한민국 No.1 문화웹진’ 예스24 채널예스