우리가 사는 세상은 이제 AI가 만든 콘텐츠와 AI가 추천해준 이야기들로 가득하다. 그 속에서 우리는 매일, 무엇이 옳고 그른지조차 불분명한 혼돈의 시기를 지나고 있다. 실리콘밸리의 디스코드(Discord Inc.)에서 AI 및 머신러닝 안전 정책을 담당하고 있는 저자 전수민은, 생성형 AI가 뒤흔든 콘텐츠 생태계에서 디지털 세상의 신뢰와 안전을 설계하는 Trust and Safety 전문가들을 조명한다. AI가 질서를 흔드는 시대, 기준은 누가, 어떻게 설계하고 있을까. 전수민 저자와의 인터뷰를 통해 그 답을 들어봤다.

책 제목인 『AX 터뷸런스』는 어떤 의미인가요?

전 인류가 지나고 있는 인공지능 대전환기(AX - AI Transformation) 속에서, AI의 답변과 추천 알고리즘이 온라인 콘텐츠 시장에 불러일으킨 혼돈의 시기를 뜻합니다. 생성형 AI의 등장 이후, 콘텐츠 생산의 속도와 정교함은 폭발적으로 높아졌습니다. 개인의 취향과 말투까지 반영하는 맞춤형 콘텐츠가 끊임없이 생성되며, 온라인에서 우리가 마주하는 세계의 규모와 다양성은 이전과 비교할 수 없을 만큼 커졌죠.

하지만 그 찬란함 이면에는 가짜와 진짜, 자유 표현과 조작, 허용과 금지의 경계가 점점 흐려지고 있습니다. 기술은 중립적일지 몰라도, 그것을 악용하는 이들의 손에 쥐어졌을 때 사회적 혼란은 피할 수 없기 때문입니다. 딥페이크, 정치 조작, 스캠, 정서적 피해 등이 대표적입니다. 저는 이 혼란의 시기를 AX 터뷸런스라고 표현했습니다.

점점 더 많은 사람들은 매일 AI가 추천한 콘텐츠를 소비하고, AI가 건네는 답에 기대어 판단합니다. 우리가 스크롤하며 만나는 세상, 그중 얼마나 우리의 선택일까요?

이 질문은 AX 터뷸런스 시대를 살아가는 우리 모두가 꼭 던져야 할 가장 근본적인 질문입니다. 챗GPT나 소라 같은 생성형 AI 플랫폼, 인스타그램이나 유튜브처럼 추천 알고리즘이 중심인 플랫폼은 사용자의 취향과 관심을 정교하게 예측해 어떤 콘텐츠를 보여줄지 결정합니다. 그 과정에서 일부 콘텐츠는 내부 정책에 따라 노출이 제한되거나 유해성이 있다고 판단되면 삭제되기도 하죠. 반면, 어떤 콘텐츠는 전세계적으로 널리 추천되기도 합니다. 문제는 어떤것이 유익한지, 유해한지, 또는 추천할만한 콘텐츠인지의 기준은 시대와 문화, 나라와 언어 등에 따라 모두 다르다는 점입니다. 그래서 우리는 오늘 내 온라인 상 경험의 기준은 누가 세웠는가?라는 질문을 한번쯤은 해봐야 합니다.

책의 핵심인 ‘보이지 않는 안전의 설계자’, 바로 Trust and Safety 전문가들. 그들은 어떤 일을 하나요?

Trust and Safety(이하 TnS)는 디지털 세계의 질서와 신뢰를 설계하는 전문가 집단입니다. 이들은 기술이 사회에 미치는 영향을 분석하고, 법이 닿지 못한 회색지대에서 기준을 만듭니다. 다른 사용자에게 위해를 끼칠 수 있는 콘텐츠나 행동, 그리고 그 위해를 증폭시킬 수 있는 기술의 문제를 파악해 기업이 안전한 방향으로 기술을 발전시키고 출시할 수 있도록 합니다.

책에서는 한국에서는 생소하지만 실리콘밸리에서 자주 볼 수 있는 주요 TnS 직무를 소개했습니다. 예를 들어, 사용자 안전이 제품 설계 단계서 부터 반영되도록 돕는 프로덕트 정책팀, 그리고 실제 현장에서 위해 콘텐츠를 판단하는 콘텐츠 모더레이터도 있습니다. 책에는 실리콘밸리 내 TnS 실무자들의 의사결정 과정을 비롯해 실제로 극단주의 조직을 추적하고 대응하는 전문가의 생생한 인터뷰도 담았습니다.

책에서는 사전 안전 설계(Safety by Design) 개념을 강조하셨습니다. 안전한 설계란 구체적으로 어떤 과정을 말하나요?

Safety by Design은 기술이 시장에 공개되어 문제를 일으키기 전에 사회와 인간에게 미칠 위험을 분석하고, 프로덕트 설계 단계에서부터 리스크를 줄이는 것을 목표로 합니다. 제품 출시 전 아동 계정이 성인에게 추천되지 않게 셋팅하거나, AI가 만든 영상에 유명인의 얼굴이 임의로 삽입되지 않도록 사전 차단하는 것입니다.

역설적으로, 유해 콘텐츠를 차단하기 위한 안전 AI 모델을 설계할 때에도 사전 안전 설계는 필수적입니다. 사람이 꼭 개입하는 구조를 뜻하는 휴먼 인 더 루프(Human-in-the-loop)를 하나의 예로 들 수 있습니다. 책에서는 이스라엘-하마스 전쟁 당시, 페이스북의 자동 콘텐츠 거버넌스 시스템의 판단 오류로 인해 역사적 가치가 있는 영상을 삭제했다가 비판 받은 사례를 소개합니다. AI는 수백만 개의 콘텐츠를 분류할 수 있을지라도, 판단의 기준은 인간이 세워야 합니다.

기술자가 아닌 사람도 이 분야에 참여할 수 있을까요? 전수민 저자님은 어떻게 시작하셨나요?

이 분야에는 오히려 기술자가 아닌 분들이 더 많이 참여해야 합니다. 그게 제가 이 책을 기술서가 아니라 사회 대중서로 쓴 이유이기도 합니다. 저 역시 공학 전공자가 아닙니다. 저는 국제개발 분야에서 커리어를 시작하였고 스탠퍼드에서 정책학 석사 과정을 밟았습니다. 이 과정에서 기술이 사회 구조와 인간의 행동에 미치는 영향을 깊이 고민하였고, 그 경험을 바탕으로 지금의 일을 시작하게 되었습니다.

코드를 다룰 줄 아는 역량이, 결코 기술의 사회적 영향을 분석하거나 안전을 구조화하는 업무의 전제 조건은 아닙니다. 사회 구조의 불평등, 기술이 인간의 행동에 미치는 영향, 안전한 사회를 위한 가치 등의 주제를 이해하고 비판적 사고를 갖는 것이 더 중요합니다.

그래서 저는 이 책에 다양한 배경의 사람들(직장인, 학생, 전문가 등)이 추구할 수 있는 실제 커리어 패스와 준비 전략을 구체적으로 담았습니다. 더 많은 분들이 이 분야에 관심을 가지고 새로운 커리어 기회로 삼기를 바랍니다.

Trust and Safety는 한국에서 아직 생소하지만, AI 시대에는 점점 더 중요해지고 있다고 하셨습니다. 한국의 정부와 기업, 그리고 시민사회가 왜 더 관심을 가져야한다고 생각하시나요?

Trust and Safety는 디지털 사회의 보이지 않는 인프라입니다. 글로벌 플랫폼들은 수천 명에서 수만 명의 인력을 두고 매일 방대한 콘텐츠를 관리하지만, 모든 언어와 문화를 완벽히 반영할 수는 없습니다. 그래서 한국 사회가 더 관심을 가지는 것이 중요합니다. 우리가 매일 마주하는 콘텐츠가 어떤 기준으로 걸러지고, 내가 경험하는 플랫폼이 어떤 알고리즘으로 이루어져 있는지 이해하려는 태도 자체가 기업을 변화시키는 시작이기 때문입니다.

그런 현실 속에서 한국 정부와 기업, 시민사회와 개인이 이 분야에 조금은 더 효과적으로 참여할 수 있는 실질적인 방법을 담았습니다. 모두의 관심과 참여가 우리가 원하는 미래를 만드는 동력이 될 것입니다.

결론적으로 『AX 터뷸런스』는 ‘우리가 어떤 사회를 만들 것인가’에 대한 질문을 던집니다. 이 혼돈의 시기 속에서 우리가 지켜야 할 가장 중요한 기준은 무엇일까요?

AI가 답을 쓰는 시대 속에서, 인간은 그 답의 옳고 그름을 판단하는 기준을 수립해야 합니다. 현재는 Trust and Safety라는 이름의 조직이 이 역할을 맡고 있지만, 결국 이 사회의 구성원 모두의 몫입니다. 기준은 거창한 법이나 규제가 아니라, 우리가 매일 무엇을 바라보고 믿을지를 정하는 문제입니다. 모두가 기술의 수동적 소비자에 머무르지 않고 디지털 질서를 함께 설계할 수 있길 바랍니다.

* AI 학습 데이터 활용 금지