(C)Robert Gauldin

이 책은 정보, 기술, 그리고 과학의 진보에 관한 책이다. 경쟁, 시장, 그리고 사상의 진화에 관한 책이기도 하다. 이 책은 우리를 컴퓨터보다 똑똑하게 만들어주는 방법과, 인간이 저지르는 실수에 관한 책이다. 우리가 이 세상으로 한 걸음씩 다가가는 방법과 또한 이 과정에서 가끔은 뒷걸음질할 수밖에 없는 이유에 관한 책이기도 하다. 이 책은 이 모든 것이 교차하는 지점에 놓여 있는 예측을 다루는 책이다. 우리가 지금보다 조금 더 통찰력을 가질 수 있어서 실수를 조금이라도 덜할 수 있다면 얼마나 좋을까. 이 책은 이런 물음에 대한 고민이다.

현재 ‘빅 데이터big data’라는 용어는 첨단 유행어다. 우리는 지금 날마다 2.5퀸틸리언quintillion(조의 1만 배. 100경-옮긴이)  바이트나 되는 자료를 생산하고 있다고 IBM은 추정한다. 그런데 이 중 90퍼센트는 최근 2년 동안 생산된 자료라고 한다. 정보의 기하급수적 증가는 1970년대에 컴퓨터가 그러한 것처럼 때로 만병통치약으로 보이기도 한다. 2008년, <와이어드Wired>지의 편집자 크리스 앤더슨Chris Anderson은 엄청난 양의 자료는 이론에 대한 욕구뿐 아니라 과학적 방법론까지 지워버릴 것이라고 썼다.

이 책,  『신호와 소음』은 단호하게 과학을 지지하고 기술을 지지한다. 그리고 나는 과학기술을 매우 낙관적으로 바라보는 사람이다. 하지만 이 같은 견해는 심각하게 잘못된 것이라는 주장이 있다. 수치 자체는 스스로를 변호할 길이 없다. 수치를 대신해 우리가 말한다. 우리는 수치에 의미를 부여한다. 우리는 카이사르와 마찬가지로 어쩌면 객관적 실체와 동떨어진 방식으로 그 수치들을 해석하는지도 모른다.

자료에 따른 예측은 성공할 수도 있고 실패할 수도 있다. 실패 가능성은, 우리가 예측 과정에서 수행해야 할 우리 자신의 역할을 부정하는 때 높아진다. 우리는 더 많은 자료를 요구하기에 앞서 자기 자신에 대해 더 많은 것을 알 필요가 있다. 내 이력을 아는 독자에게는 나의 이런 태도가 뜻밖으로 보일 수도 있다. 자료와 통계 관련 일을 하고 또 그걸 이용해서 미래를 성공적으로 예측한 덕분에 나는 지금 제법 유명 인사로 행세하고 있다. 2003년이었다. 당시 나는 내가 하던 컨설팅 업무가 너무도 지루한 나머지 ‘페코타PECOTA’라 이름 붙인 통계 예측 프로그램을 개발했다. 메이저리그 야구선수들의 통계를 예측하는 프로그램이었다.

페코타 프로그램은 혁신적 내용을 여럿 담고 있었다. 프로그램의 예측은 확률적probabilistic이었다. 선수들의 성적에 대한 가능한 결과의 범위를 대체적으로 설정하는 식이었다. 결과적으로 이 프로그램은 다른 경쟁 프로그램들을 압도했다. 나는 2008년에 웹사이트 파이브서티에이트FiveThirtyEight(여기서 ‘538’은 미국 대통령선거인단 수를 의미한다. 미국 하원 435명과 상원 100명을 합친 수에, 행정수도 워싱턴이 있는 컬럼비아 선거구의 3명을 합친 수다-옮긴이)를 만들었다. 2008년 미국 대통령 선거 결과를 예측하려는 사이트였다. 사이트는 대통령 선거 당시 50개 주 가운데 49개 주에서 (대통령 후보 버락 오바마와 존 매케인 중-옮긴이) 누가 이길지 정확하게 예측했으며, 미국 상원의원의 전체 35개 선거구 당선자도 정확하게 예측했다.

선거 뒤에 수많은 출판사들이 나를 찾았다. 그들은 세계를 정복한 괴짜들의 이야기를 다룬 『머니볼Moneyball』미국 프로야구 메이저리그 30개 구단 중 가장 가난한 오클랜드 애슬레틱스가 4년 연속 포스트시즌 진출이라는 기적을 일으킨 성공 신화를 담은 책-옮긴이)이나 『괴짜경제학Freakonomics』(기발한 물음과 명쾌한 해답을 통해 사회의 통념과 상식을 깨트리는 책-옮긴이) 같은 책들이 거둔 성공에 편승하고 싶어 했다. 하지만 이 책 『신호와 소음』은 야구나 정치부터 테러와 전염병에 이르는 다양한 분야에서 여러 사람들이 한 예측들을 탐구하겠다는 생각에서 비롯했다. 

나는 지난  4년 동안  10개가 훨씬 넘는 분야에 종사하는 전문가를 족히 100명 넘게 만나 이야기를 나누고, 수백 건에 이르는 기사와 책을 읽고, 또 필요한 조사를 위해 라스베이거스에서 코펜하겐까지 바쁘게 돌아다녔는데, 이 과정에서 중요한 사실을 깨달았다. 빅 데이터의 시대에 예측은 그다지 잘 맞지 않는다는 사실이다. 그동안 난 몇 가지 점에서 행운아였다. 우선, 많은 실수를 저질렀는데도(이 실수에 대해서는 뒤에서 설명할 것이다) 상당한 성공을 거두었다. 둘째로는 운 좋게도 분야를 잘 선택했다. 예컨대 야구가 그렇다. 야구는 예외적인 사례다. 또 야구에서는 예외적인 일들이 너무도 많이 일어난다. 이 책은 야구가 왜 그런지를 탐구한다. 『머니볼』이 나온 지 10년이 지난 지금, 왜 괴짜 통계학자와 스카우터가 호흡을 맞추고 있는지에 대해 설명한다.

이 책은 다른 희망찬 사례들도 제시한다. 인간의 판단과 컴퓨터의 능력을 한데 녹여내는 작업이 필요한 분야 하나가 기상 예측이다. 기상예보관들은 좋은 평판을 듣지 못한다. 그러나 이들은 놀라운 발전을 이루어서, 허리케인 상륙 예상 지점을 25년 전에 비해 세 배나 정확하게 예측할 수 있다. 나는 또 실제로 라스베이거스에서도 돈을 따는 포커 전문가와 스포츠 도박사들을 만났으며, 세계 체스 챔피언을 이긴 최초의 컴퓨터인 IBM의 딥 블루Deep Blue를 설계한 컴퓨터 프로그래머들도 만났다.

하지만 예측에서 이러한 진보는 그 과정에 있었던 일련의 실패를 충분히 고려해 평가해야 한다. 미국인에게 새로운 천 년은 끔찍한 사건과 함께 시작되었다. 미국인은 2001년 9월 11일 사건이 다가온다는 사실을 전혀 알지 못했다. 문제는 정보 부족에 있지 않았다. 9 .11테러가 있기 60년 전에 진주만이 일본에 기습 공격을 당할 때처럼, 그런 일이 있으리라는 온갖 신호가 분명 있었다. 그런데 미국인은 그 신호들을 온전하게 하나로 꿰지 못했다. 테러리스트들이 어떻게 행동할지 밝히는 적절한 이론이 부족해서 미국인은 그 많은 신호에도 눈뜬장님이었고, 9 .11테러나 진주만 공습은 미국인에게 ‘알려지지 않은 미지unknown unknown’였다.

최근의 글로벌 금융위기를 둘러싼 예측도 온통 엉터리였다. 우리는, 우리의 여러 예측 모델을 순진하게 신봉하고 또 그 모델들이 우리가 여러 가설을 설정하고 선택하는 데서 얼마나 형편없는지를 제대로 깨닫지 못하는 바람에 재앙과도 같은 결과를 맞아야 했다. 이런 와중에서 나는, 우리는 몇 달 뒤에 일어날 경기후퇴를 예측할 수 없으며 또한 이는 시도 자체를 게을리한 때문이 아님을 좀 더 일상적 이유를 근거로 해서 깨달았다. 인플레이션을 제어하는 부문에서 상당한 발전이 이루어졌지만, 우리의 경제 정책입안자들은 눈을 감은 채 계기비행(맹목비행)만 하고 있다.

여러 정치학자들이 2000년 대통령 선거에서 발표한 예측 모델들은 앨 고어Al Gore가 11퍼센트포인트라는 압도적 차이로 이길 것으로 예측했다. 그러나 승리는 조지 W. 부시George W. Bush 차지였다. 이건 이례적인 결과가 아니었다. 이 같은 종류의 실패는 정치 분야의 예측에서 상당히 흔하게 일어난다. 펜실베이니아대학교 필립 E. 테틀록Philip E. Tetlock 교수가 수행한 장기 연구 프로젝트는, 정치학자들이 어떤 정치적 결과가 발생할 가능성이 전혀 없다고 주장할 때, 실제로는 그 결과가 나타날 가능성이 약 15퍼센트나 된다는 사실을 발견했다(물론, TV 시사 프로그램에 나와서 시끄럽게 떠드는 사람들보다는 이 정치학자들이 낫다.

최근에도 1970년대와 마찬가지로 지진을 예측하려는 시도들이 재연되었다. 시도 대부분은 자료를 바탕으로 분석하는 고도로 수학적인 여러 기법을 구사한다. 이 예측들은 과거에 한 번도 일어난 적이 없는 지진은 예상했지만, 결국 실제로 일어나고 마는 지진에 사람들이 대비하도록 하는 데는 실패했다. 후쿠시마 원전의 원자로는 진도 8.6 규모의 지진에 견디도록 설계되었다. 이렇게 한 데는 이유가 여럿 있겠지만, 몇몇 기상학자들이 그보다 규모가 큰 지진이 일어날 가능성은 없다고 결론 내린 점도 중요하게 작용했다. 그런데 진도 9.1 규모의 지진이  2011년  3월 일본 도호쿠東北 지방에서 일어나고 말았다.

‘빅 데이터’는 발전을 낳는다. 하지만 여기에는 ‘궁극적으로 볼 때’라는 단서가 붙는다. 발전 시기가 얼마나 앞당겨질지, 그 중간에 퇴보할지 아닌지는 우리가 어떻게 하느냐에 달렸다. 세상은 인쇄술의 등장 이후로 크게 발전했다. 이제 정보는 예전처럼 희귀한 자원이 아니다. 처리할 수 있는 정보량은 한정되어 있는데, 우리는 이보다 훨씬 많은 정보를 가지고 있다. 그런데 상대적으로 아주 적은 양의 정보만 유용하다. 우리는 정보를 선택적으로, 주관적으로, 그리고 해당 정보가 유발할 수 있는 왜곡에 그다지 크게 경계하지 않고 정보를 지각한다.

신호는 진리다. 소음은 우리가 진리에 다가서지 못하게끔 우리의 정신을 산만하게 한다. 이 책은 이들에 관한 이야기다.

[추천 기사]

- 꿈만 꾸는 사람은 기적을 이룰 수 없다
- 앎을 찾아 평생 헤맬 용기에 대하여
-프라하의 이방인
- 프라하의 미스터리한 아름다움을 말하다