AI가 똑똑해질수록 왜 더 깜깜해지는가 [장준환의 AI법 네비게이터⑤]

얼마 전 뉴욕에서 한 AI 기업 관계자와 이야기하던 중 흥미로운 장면이 있었다. 그는 자신들의 AI 모델이 얼마나 빠르고 정확한지는 매우 자신 있게 설명했다. 어떤 업무를 자동화할 수 있는지, 어떤 산업에 적용할 수 있는지, 비용을 얼마나 줄일 수 있는지도 비교적 분명하게 말했다.

그런데 질문이 조금 바뀌자 분위기가 달라졌다. 그 모델이 어떤 데이터로 학습되었는지, 그 데이터는 적법하게 확보된 것인지, 배포 이후 어떤 오류나 편향이 발견되었는지, 그리고 그 기록을 회사가 어떻게 관리하고 있는지를 묻자 답변은 조심스러워졌다.

이 장면은 지금 AI 산업이 마주한 중요한 문제를 보여준다. AI는 점점 더 똑똑해지고 있지만, 정작 그 AI가 어떻게 만들어졌고, 어떤 위험을 가지고 있으며, 사회에 어떤 영향을 미치는지는 오히려 더 알기 어려워지고 있다.
이것이 바로 Stanford Institute for Human-Centered Artificial Intelligence, 즉 Stanford HAI가 최근 AI Index를 통해 지적한 ‘투명성의 역설’이다. 기술은 더 강력해지고 있지만, 그 기술을 이해하고 검증할 수 있는 사회적 장치는 아직 충분히 따라가지 못하고 있다.

성능은 보이지만, 과정은 보이지 않는다

오늘날 주요 AI 기업들은 자신들의 모델 성능을 적극적으로 공개한다. 어떤 시험에서 인간 전문가 수준을 넘어섰는지, 얼마나 빠르게 문서를 작성하고 이미지를 생성하는지, 코딩과 수학 문제에서 얼마나 높은 점수를 받았는지를 강조한다.

성능은 투자자와 시장을 설득하는 가장 강력한 언어이기 때문이다. 그러나 더 중요한 질문은 종종 뒤로 밀린다. 그 모델은 어떤 데이터로 학습되었는가. 그 데이터에는 저작권이나 개인정보 문제가 없는가. 모델을 훈련시키는 데 어느 정도의 컴퓨팅 자원과 에너지가 사용되었는가. 배포 이후 발생한 오류, 편향, 허위정보, 차별적 결과는 어떻게 기록되고 관리되는가.

문제는 간단하다. AI 기업들은 성능은 보여주지만, 그 성능이 어떻게 만들어졌는지는 충분히 보여주지 않는다. Stanford HAI가 주목하는 지점도 바로 여기에 있다. AI 기술의 능력은 빠르게 발전하고 있지만, 이를 평가하고 감시하고 설명할 수 있는 사회적 장치는 그 속도를 따라가지 못하고 있다.
AI가 더 강력해질수록 그 내부 구조는 더 복잡해지고, 기업들은 경쟁과 영업비밀을 이유로 더 많은 정보를 공개하지 않으려 한다. 결국 AI는 점점 더 중요한 결정을 내리지만, 우리는 그 결정을 만든 과정을 충분히 알지 못하는 상황에 놓이게 된다.

AI 투명성은 새로운 공시의 문제다

이 문제는 단순한 학술적 논의가 아니다. AI가 금융, 채용, 의료, 교육, 행정, 법률 서비스에 사용되는 순간 투명성은 곧 신뢰의 문제가 된다. 금융시장에서 기업은 투자자와 시장을 상대로 일정한 정보를 공개한다. 재무제표, 사업보고서, 리스크 요인, 내부통제 체계는 모두 시장의 신뢰를 만들기 위한 장치다. 아무리 성장성이 높은 기업이라도 정보가 불투명하면 자본은 신중해질 수밖에 없다.

AI 산업도 같은 질문 앞에 서 있다. AI 기업이 단순히 “우리 모델은 뛰어나다”고 말하는 것만으로 충분한가. 투자자와 이용자, 정부와 사회는 그 모델의 성능뿐 아니라 그 모델이 만들어진 과정과 위험관리 구조를 알아야 하지 않는가. 앞으로 AI 시대의 공시는 재무정보에만 머물지 않을 가능성이 크다.

학습 데이터의 출처, 모델 평가 방식, 안전성 테스트, 편향성 점검, 배포 후 사고 기록, 인간의 감독 체계 등이 새로운 의미의 공시 항목이 될 수 있다. 물론 기업의 영업비밀을 모두 공개하자는 뜻은 아니다. 그러나 사회적으로 중요한 영향을 미치는 AI에 대해서는 최소한의 검증 가능성이 확보되어야 한다.

특히 금융 AI는 이 문제를 더 분명하게 보여준다. 대출 심사 AI가 어떤 기준으로 사람의 신용을 평가했는지 설명할 수 없다면, 금융 소비자는 그 결과를 신뢰하기 어렵다. 투자 추천 AI가 어떤 데이터를 기준으로 특정 상품을 권유했는지 알 수 없다면, 문제가 발생했을 때 책임 구조도 불분명해진다. AI가 금융시장의 효율성을 높일 수는 있지만, 그 판단 과정이 깜깜하다면 새로운 리스크가 될 수도 있다.

한국은 AI 도입보다 AI 검증 체계를 먼저 고민해야 한다

한국도 이제 AI 산업 육성과 규제 사이에서 균형을 찾아야 하는 시점에 와 있다. 그러나 논의가 단순히 “규제를 완화할 것인가, 강화할 것인가”에 머물러서는 안 된다. 더 중요한 질문은 따로 있다. 한국은 AI를 어떻게 검증할 것인가. 어떤 AI를 신뢰할 수 있다고 판단할 것인가. 기업과 정부는 AI 모델의 위험을 어떤 기준으로 평가할 것인가.

AI 시대의 경쟁력은 단순히 더 큰 모델을 만드는 데서 나오지 않는다. 그 모델을 설명하고, 평가하고, 감독할 수 있는 제도적 능력에서 나온다. 기술을 만드는 나라는 많아질 수 있다. 그러나 신뢰할 수 있는 AI 시장을 설계하는 나라는 많지 않을 것이다. 이 지점에서 Stanford HAI의 논의는 한국에 중요한 시사점을 준다. AI의 성능 경쟁은 이미 세계적으로 치열하게 진행되고 있다. 그러나 성능이 높아질수록 더 필요한 것은 감탄이 아니라 검증이다. 더 빠른 AI보다 중요한 것은 설명 가능한 AI이고, 더 강력한 AI보다 중요한 것은 신뢰할 수 있는 AI다.

이제 한국 기업들도 AI를 도입할 때 새로운 질문을 던져야 한다. 이 AI는 얼마나 뛰어난가. 그것도 중요하다. 그러나 더 중요한 질문은 이것이다. 이 AI가 어떤 데이터로 만들어졌는가. 그 판단은 설명 가능한가. 오류와 편향은 기록되고 있는가. 문제가 발생했을 때 누가 책임질 수 있는가.

AI 시대의 진짜 위험은 AI가 부족해서가 아니다. 너무 중요한 기술이 너무 깜깜한 방식으로 움직이는 것이다. 그리고 그 깜깜함을 들여다볼 수 있는 법과 제도, 공시와 검증의 체계를 만드는 능력이 앞으로 국가와 기업의 경쟁력을 가르게 될 것이다.



장준환 뉴욕 변호사 (Private Wealth & Investment)

충북대학교 컴퓨터공학과 겸임교수/재미한인과학기술자협회(KSEA) 고문변호사

미국 뉴욕주 프라이빗 웰스 로펌의 대표 변호사로 자산 구조와 투자전략 설계 전문가다. AI를 비롯한 IT 관련 법률 지식에 정통해 충북대 컴퓨터공학과 겸임교수와 재미한인과학기술자협회 고문변호사를 맡고 있다. 도시재생 프로젝트를 추진하는 등 개발사업과 글로벌 갤러리 운영도 하면서 다양한 사회·문화 활동도 하고 있다. 차세대 한인 리더로서 AI 시대의 인간다움을 지키는 인프라를 구축해 입법·제도화한다는 비전을 갖고 오는 2028년 뉴욕주 하원의원 선거에 출마를 준비 중이다.

장준환 칼럼니스트/뉴욕 변호사