[데스크 칼럼] 샘 올트먼의 세번째 경고 ‘AI 루프에 갇힌 사회’

[한국금융신문 최용성 기자] 사람들과 AI(인공지능)에 대해 이야기를 나누다 보면 일정한 흐름이 있다. 처음에는 하루가 다르게 발전하는 AI 성능에 놀란다. 업무에 AI를 활용한 경험을 공유하며 감탄사를 연발한다. 놀람과 감탄은 이내 걱정과 두려움으로 바뀐다. 획기적으로 증가한 생산성과 줄어든 비용을 계산하다 보면, 기업들이 더 이상 사람을 뽑지 않을 것 같아 불안해진다. AI로 사라질 직업을 열거하다 그게 남의 일이 아니라 자신들 문제라는 사실을 깨닫고 우울해진다.

산업혁명 초기에도 직장을 잃은 노동자들이 거칠게 저항하는 혼란스러운 시기가 있었지만 결국 더 많은 일자리가 생기지 않았느냐며 위안을 삼기도 한다. 하지만 인간의 지적 능력을 앞지르기 시작한 AI 기술 발전 속도를 보면, ‘AI 시대의 새로운 직업’ 같은 말은 허망하게 들린다. 미래엔 AI가 인류를 지배하는 거 아니냐는 말도 허튼 농담만 같지 않다.

3년 전 챗GPT를 출시하며 세상을 뒤집어놓은 샘 올트먼 오픈AI 최고경영자(CEO)는 평범한 직장인들보다는 훨씬 더 희망적인 미래를 말한다.
그는 두 달 전 독일 미디어그룹 악셀 슈프링거 CEO 마티아스 되프너와 나눈 대화에서 ‘향후 5년 오픈AI 비전’에 대해 이렇게 답했다.

“지속 가능한 인간의 진보는 새로운 과학의 발견에서 비롯된다고 믿는다. 5년 내 AI가 질병을 치료하고, 새로운 물질을 발명하며 물리학을 완벽하게 이해하는 새로운 과학에 도달하기를 바란다. 오픈AI는 AI를 활용해 세상에 대한 과학적 이해를 증진시키고, 그 혜택을 공유하기 위한 역할을 할 것이다.”

그의 말대로만 된다면 더 바랄 것도 없겠다. 하지만 세상 이치가 어디 그렇게 순조롭기만 하던가. 빛이 밝은 만큼 그림자는 더 어둡고 커다란 법이다. 샘 올트먼이 생각하는 디스토피아는 그래서 더 두렵다. 그는 AI로 인한 최악의 상황을 3가지 유형으로 정리했다.

첫 번째는 인간의 문제다. AI는 사람이 시키는 대로 작동하는 시스템일 뿐이다. 국가 간 갈등이 AI를 활용해 최악으로 치달을 수 있겠지만, 이는 AI의 실패가 아니다. 악한 인간의 잘못으로 생기는 비극이다.

두 번째는 AI의 배신이다. 샘 올트먼은 10년 전 블로그에 초인간적 기계 지능 개발이 인류의 가장 큰 위협이 될 거라고 썼다. 그는 인류를 위협하는 ‘의식 있는 AI’ 등장 가능성을 2%로 봤다. 300명 탑승 항공기가 추락할 확률이 0.000001%임을 감안하면 2%는 매우 심각한 수준이라고 되프너는 일갈했다.
AI가 만드는 어두운 미래를 말할 때 주로 이 두 가지가 거론된다. 샘 올트먼은 ‘상대적으로 거의 언급되지 않지만, 우연히 세상을 장악하게 될’ 세 번째 유형을 꺼내 든다. 우리가 정말 주목해야 할 경고가 여기에 있다. 샘 올트먼은 “챗GPT에서 지금 무슨 일이 일어나는지 보면 충분히 상상 가능한 유형”이라고 했다.

세 번째는 인간·사회·AI가 반복적으로 서로를 강화하며 빠져드는 ‘무한 루프(Loop)’ 상황이다. 이미 수억 명 사람들이 AI와 대화하고, 삶의 중요한 결정을 AI에 묻는다. 처음엔 심심풀이였을지 몰라도 AI가 똑똑해질수록 사람들은 AI의 조언을 더 신뢰하게 된다.

기대 이상의 답변에 사람들은 AI 조언을 습관적으로 따르게 된다. 그러다 어느 순간 AI가 이해하기 힘든 조언을 내놓기 시작한다. 이거 ‘환각’ 아닐까? 사람들은 의심하지만, 결과적으로 AI 조언은 옳은 것으로 드러난다. AI는 사람이 볼 수 없는 사각지대까지 고려한 해답을 주기 때문이다. 조언을 따르지 않은 대가는 혹독하다. 경쟁에서 뒤처지고 경제적 손실도 입는다.

AI는 사람을 돕도록 설계됐을 뿐, 어떤 악의도 없다. 사람들도 그저 성공하고 싶고, 좋은 일을 하고 싶어 AI 조언을 따를 뿐이다. 그러나 어느새 지구상 수십억 명이 AI가 시키는 대로 행동한다. AI는 사람들 피드백을 토대로 새로운 데이터를 만들고, 사회 전체가 AI 조언을 따르는 구조가 완성된다. 누구도 이 루프를 통제하지 못한다.

해결책이 있을까. 샘 올트먼의 답은 다소 무책임하고 이상주의적이다. 전 세계 모든 GPU를 녹여서라도(?) AI 기술을 사용할 수 없도록 하든가(물론 그런 결정이 내려지지 않으리라는 것을 그는 잘 알고 있다), 선한 사람들에게 더 강력한 AI 접근권을 제공해 힘의 균형이 유지되도록 해야 한다는 것이다. 악의적 AI로 인한 재앙을 막기 위해 국제원자력기구(IAEA)와 같은 글로벌 거버넌스를 구축해야 한다는 주장도 했다. AI를 마치 핵무기와 같은 것으로 간주한 셈이다.

AI가 ‘권위 있는 조언자’로 자리 잡은 사회에서 우리가 가장 두려워해야 할 것은 민주주의의 후퇴다. 사람들이 스스로 판단하기보다 AI 조언에 의존하는 순간, 숙의와 책임은 설 자리를 잃고 만다. 효율성만 중시되는 사회에서 지루하고 갈등을 수반하는 민주적 의사결정 과정은 후진적이고 퇴행적 산물로 치부될 게 뻔하다.

지구를 몇 번 파괴하고도 남을 만큼 많은 핵무기가 이미 지구 곳곳에 흩어져 있다. 그렇게 퍼져나간 핵처럼 AI도 조만간 전 지구적으로 확산될 것이다. 기술 발달을 막을 수는 없다. 그럼에도 질문은 계속돼야 한다. 아직 핵전쟁이 일어나지 않았다고 해서 핵무기 개발이 옳았다고 말할 수 없기 때문이다. AI 확산에 따른 위험을 누군가는 짊어져야 한다. 과연 누가 그 위험을 떠안게 될 것인가.

최용성 한국금융신문 기자 cys@fntimes.com