IT 시장 조사 기관 IDC가 발표한 ‘Data Age 2025’에 따르면 2017년 기준으로 2025년에는 데이터양이 10배 증가해 163ZB에 달한다고 합니다.

163ZB가 얼마나 큰 값인지 상상도 되지 않는데요, 이 정도 규모의 데이터라면 ‘빅빅빅빅~~~~~~~데이터’라고 불러도 아무도 이의를 달지 못할 겁니다.

빅데이터의 출현은 인터넷의 발전에 의한 필연적인 결과물인 수도 있겠지요. 빅데이터가 오늘날처럼 누구라도 아는 상식 용어로 발전하게 된 계기는 하둡과 관련이 깊습니다.

빅데이터의 탄생

하둡(Apache Hadoop)은 분산 처리 파일시스템과 대용량 데이터 처리 기술인 맵리듀스를 제공하는 자바 프레임워크입니다. 2011년 더그 커팅이 처음 소스를 공개하고 나서 그동안 방치하듯 쌓아두던 기업 내 데이터를 분석하는 붐이 불었습니다. 물론 기존보다 더 큰 데이터를 쌓을 수 있게 되었으며, 바야흐로 이제 빅데이터라는 단어는 전 국민 상식어가 되었습니다.

그런 하둡은 개념적으로 오리지널은 아닙니다. 2003년 구글이 발표한 구글 분산 파일시스템(GFS) 논문1 을 참고해 개발했기 때문입니다. 하둡의 창시자 더그 커팅은 2002년부터 검색 엔진 너치 프로젝트를 진행하고 있던 차에 이 논문을 보고 수십억 웹 페이지로 확장할 수 있는 아키텍처에 대한 영감을 얻었습니다. 그러니까 구글은 2011년보다 훨씬 이전에 이미 빅데이터를 쌓고 분석하고 있었던 겁니다. 인터넷 덕분에 빅데이터를 쌓을 수 있었던 거죠.

인터넷의 발전이 빅데이터를 출현시켰다면, 빅데이터가 대용량 분석 기술의 발전을 촉발한 것 역시 필연일 겁니다. 이어서 (약간의 수동 데이터 과학인) 머신러닝과 (데이터만 있으면 되는 자동 데이터 과학인) 딥러닝의 발전도 촉발시켰습니다. 현 시점에서 강화학습은 인공지능의 최종 보스입니다.

           [그림] 빅데이터 출현과 흐름

인공지능 그 굴곡의 발자취

오늘날의 인공지능의 영광에는 사실 굴곡의 역사가 있습니다. 1956년 존 매카시(John McCarthy) 교수가 다스머스 학회에서 처음으로 인공지능(artificial intelligence)이라는 용어를 사용했습니다. 뇌를 모사한 인공지능을 뜻하는 퍼셉트론(Perceptron)이라는 용어도 이 시기에 탄생했습니다.

1970년대 초까지 인간처럼 생각하고 문제를 푸는 인공지능을 구현하려는 연구가 계속되었는데 좋은 성과를 내지 못했죠. 결국 인공지능의 첫 번째 암흑기가 도래하게 됩니다. 무엇보다 69년 마빈 민스키(Marvin Lee Minsky)와 세이무어 페퍼트(Seymour Papert)가 퍼셉트론으로 XOR 문제를 풀 수 없다는 사실을 수학적으로 증명한 것이 큰 영향을 미쳤습니다.

              [그림] 인공지능의 역사

1980년대는 전 세계적으로 개인용 컴퓨터가 보급되던 때입니다. 가전에도 반도체를 넣을 정도인데 그런 환경 덕분인지 다시 한 번 인공지능에 대한 관심이 쏠리게 되죠. X 세대 이전 세대라면 1986년과 87년에 TV에서 삼성 휴먼테크와 금성 테크노피아 광고를 보신 기억이 있으실 겁니다. 추억을 더듬어 금성 테크노피아 광고 문구를 한번 살펴보겠습니다.

“반도체 컴퓨터기술로 펼치는 테크노피아의 세계. 이제 금성의 첨단기술은 생각하는 반도체를 만들며 지능을 갖춘 로봇을 실현하고 있습니다. 생활을 더욱 편리하게 인간을 더욱 행복하게 이것이 바로 금성이 펼치는 테크노피아의 세계입니다 금성”

인공지능이라는 단어는 직접 언급하지는 않지만 “지능을 갖춘 로봇”이라는 언급이 있고, 로봇이 사람처럼 걷고 일을 하는 장면이 연출됩니다. 누가 봐도 인공지능과 관련된 광고입니다. 1987년 당시에 반도체 산업이 날개를 달면서 반도체의 주역인 삼성과 금성이 위와 같은 광고를 내게 된 거죠. 그 정도로 인공지능에 대한 관심이 있던 시절이었다고 보시면 됩니다. 굉장히 과장된 미래를 머지않은 내일처럼 광고를 했는데요, 이 시절2은 아직 분석과 데이터 축적 기술이 인공지능을 구현하기에 충분한 성능을 내지 못했던 때라 (기술보다 과장된 비즈니스의 결과가  항상 그렇듯) 역시나 1987년부터 다시 인공지능 암흑기에 들어섭니다.

1990년대 후반 인터넷과 함께 한 번 더 인공지능의 시대가 도래합니다. 지금은 폐기된 반도체 집적회로의 성능이 24개월마다 2배씩 증가한다는 무어의 법칙을 충실히 따르던 시절이라서 데이터를 쌓고 분석할 기반이 마련된 겁니다. 머신러닝이 본격적으로 쓰이게 되는 시대가 된 겁니다. 그 결과 이 시기에는 1997년 딥 블루가 당시 세계 체스 챔피언 게리 카스파로프를 이기는 등 착실히 전공을 쌓았습니다.

인공지능, 딥러닝으로 날개를 달다

머신러닝이 인공지능 그 자체는 아닙니다. 인공지능 분야에서 하나의 방법일 뿐입니다. 오늘날 우리가 아는 구글의 알파고는 머신러닝과는 다른 방식으로 인공지능을 구현했습니다. 바로 딥러닝(그중에서도 강화학습 기법으로)이라는 기술인데, 딥러닝은 2006년 인공지능 4대 천황 중 제프리 힌트 교수가 처음 발표한 인공지능 알고리즘입니다.

물론 전 국민에게 인공지능을 각인시켜준 계기인 2016년 3월에 있었던 이세돌 대 알파고의 딥마인드 챌린지 매치에 대해서는 더 설명이 필요 없을 겁니다. 이 매치는 그저 표면에 드러난 마케팅 행사일뿐이고 세계 유수의 IT 기업은 이미 자체적으로 다양한 인공지능 기술을 연구하고 현업에 적용하고 있었습니다. 예를 들어 IBM은 왓슨 온콜로지(Watson for Oncology)를 의학에, 아마존은 추천 서비스 등을 쇼핑몰에 적용했죠.

이번에는 확실히 달랐습니다. 비즈니스에 접목해서 성과를 낼 수 있었던 겁니다. 그렇다고 늘 인공지능 제품이 성공을 가져다준 것은 아닙니다. 2016년 MS가 발표한 인공지능 대화 프로그램 ‘테이’는 인종차별적인 언행(?)으로 가동 16시간 만에 운영을 중단하기도 했습니다. IBM의 왓슨 온 온콜로지는 텍사스 대학교 MD 앤더슨과의 협력이 결렬됐습니다. 잘못된 치료 방법을 제안했기 때문입니다.

그런데도 인공지능의 진격은 멈추지 않았습니다. 테슬라, 구글 웨이모, 우버 등은 자율주행 자동차에 인공지능 기술을 사용합니다. 유인/무인/임무형 드론, 공장에서 사용하는 협동 로봇, 가사도우미 로봇, 미술/음악 창작 등 다양한 영역에도 인공지능이 사용됩니다.

컴퓨팅 연산 능력과 저장 능력의 발전이 빅데이터 → 데이터 분석 → 머신러닝 → 딥러닝(강화학습)을 도출해냈듯 시대가 무르익으면 무언가 다음 시대가 출현하게 됩니다. 1950년대부터 황금기와 암흑기를 거듭하면서 점점 오늘날 인공지능의 위치가 있는 거죠. 이정도 흐름이면 거시적으로 보든, 최근 10년만 보든 인공지능을 트렌드라고 불러도 손색이 없을 겁니다.

석기시대에서 청동기 시대로 그리고 철기로의 이동을 트렌드라고 말해도 되는지는 잘 모르겠으나, 이러한 새로운 시대의 흐름에 제대로 편승하지 못한 부족이나 나라는 망하는 것이 역사입니다.

기업도 다를 것 없죠. 코닥이 1975년 세계 최초로 디지털카메라를 발명하고도 오늘날 필름 시대의 유물로 남은 것은, 필름이 가져다주는 달콤한 꿀에 안주했기 때문입니다. 반면 넷플릭스는 작은 비디오 대여점에서 시작해 오늘날 온디멘드 비디오 스트림 서비스 최강자가 되었습니다.

트렌드, 미래 먹거리로의 안내자

미래는 누구도 알 수 없습니다. 그저 과거와 현재에서 흐름을 찾아 ‘아마 이렇게 갈 것이다’고 예측하고 미리 대비할 뿐입니다. 그럼 어떻게 과거와 현재에서 흐름을 찾아야 할까요?

“FANG”

지난해 미국 증시를 견인한 IT 기업을 말합니다. 페이스북(Facebook), 아마존(Amazon), 넷플릭스(Netflix), 구글(Google)죠. 현재 시점에서 전 세계 톱 IT 기업이라고 단언해도 무리가 없을 겁니다. 미국 증시를 견인했다는 것은 이들의 행보에 미래의 가치가 달렸다고 많은 전문가가 인정했기 때문일 겁니다. 기업 가치는 지금 당장의 매출 성과에만 달린 것이 아니니까요.

                           [그림] 대표적인 IT 기업 4인 방, FANG

트렌드를 찾는 일을 너무 어렵게만 생각하실 거 없습니다. 따라서 FANG의 행보가 곧 미래를 견인할 가능성이 높습니다. 너무 많은 기업 대신 FANG의 행보를 집중해서 살펴봐도 뭔가 하나 얻어지는 굵직하게 공통된 흐름이 있을 겁니다.  그 흐름이 트렌드를 만들어갈 겁니다(보나 마나 공통분모는 ‘인공지능’일 겁니다. 그래서 인공지능에 대해 앞에서 다룬거죠).

기업의 내일을 생각한다면 미래 먹거리로의 안내자 ‘트렌드’를 단디 챙기시기 바랍니다.

1. Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung 공저. 「The Google FileSystem」(2003년 10월)

2. 참고로 1983년 세계 3번째로 64K D램을 개발했습니다.