• 구독신청
  • My스크랩
  • 지면신문
FNTIMES 대한민국 최고 금융 경제지
ad

AI 성능 주장은 누가 입증해야 하는가 [장준환의 AI법 네비게이터⑦]

장준환 칼럼니스트

기사입력 : 2026-06-30 13:56

Stanford HAI가 던진 AI 시대의 검증과 책임

“그 숫자는 누가 확인했습니까?”

얼마 전 한 AI 기업의 설명 자료를 검토하던 자리에서 나온 질문이었다. 발표 자료에는 정확도, 생산성 향상률, 비용 절감 효과 같은 숫자들이 보기 좋게 정리되어 있었다.

AI가 사람보다 빠르게 문서를 분석하고, 고객 응대를 자동화하며, 업무 시간을 크게 줄일 수 있다는 설명도 이어졌다. 그러나 변호사의 시각에서 중요한 것은 숫자 그 자체가 아니었다.

그 숫자가 어떤 환경에서 측정되었는지, 실제 업무에 적용해도 같은 결과가 나오는지, 그리고 그 수치가 고객과 투자자에게 어떤 법적 의미를 갖는지가 더 중요했다.

사진출처: Pixabay, Business Chart

사진출처: Pixabay, Business Chart



법의 세계에서 주장은 곧 책임의 출발점이다. 기업이 “우리 AI는 더 정확하다”고 말하는 순간, 그것은 단순한 홍보 문구에 머물지 않을 수 있다. 투자자에게는 기업가치 판단의 근거가 되고, 고객에게는 계약 체결의 이유가 되며, 규제기관에게는 소비자 보호와 시장 질서를 판단하는 기준이 된다.

AI 산업은 이제 성능을 주장하는 단계에서 성능을 입증해야 하는 단계로 넘어가고 있다.

AI 기업의 주장은 어떻게 검증할 것인가

사진출처: Standford University HAI

사진출처: Standford University HAI

최근 Stanford Institute for Human-Centered Artificial Intelligence, 즉 Stanford HAI는 이 문제를 중요한 정책 의제로 다루고 있다. Stanford HAI의 정책 브리프 「Validating Claims About AI: A Policymaker’s Guide」는 AI 시스템에 대한 주장이 정당한 것인지, 아니면 충분한 근거 없이 과장된 것인지를 구분하기 위한 검증 프레임워크를 제안한다.

이 브리프가 던지는 질문은 단순하다. 무엇을 주장하고 있는가. 실제로 무엇을 테스트했는가. 그리고 그 테스트 결과가 그 주장을 뒷받침하는가.

이 질문은 법률가에게 매우 익숙하다. 소송에서 주장은 증거로 뒷받침되어야 하고, 계약에서 중요한 설명은 진술과 보장의 문제가 되며, 투자에서는 사업 설명과 실사의 대상이 된다.

AI 기업이 “정확도가 높다”고 주장한다면, 정확도의 기준과 비교 대상이 필요하다. “업무 효율을 높인다”고 말한다면, 어떤 업무와 어떤 비용 구조에서 그런 결과가 나왔는지 설명해야 한다. “사람보다 낫다”고 한다면, 어떤 사람, 어떤 상황, 어떤 책임 구조와 비교한 것인지 분명해야 한다.

AI에 대한 주장은 실제 데이터와 검증 절차로 뒷받침되는 주장일 수도 있고, 마케팅 언어에 가까운 주장일 수도 있다. 문제는 일반 이용자나 기업 고객, 심지어 정책입안자도 이 둘을 쉽게 구분하기 어렵다는 점이다.

AI 모델은 복잡하고, 성능 평가 기준은 다양하며, 기업이 공개하는 정보는 제한적이다. 그래서 AI 시대에는 “무엇을 만들었는가”만큼 “그 주장을 어떻게 입증할 수 있는가”가 중요해진다.

성능평가와 법적 책임은 다르다

AI 모델이 시험에서 높은 점수를 받는 것과 실제 사회에서 안전하고 공정하게 작동하는 것은 같은 문제가 아니다. 수학 문제를 잘 푸는 AI가 금융 소비자에게 적절한 투자 조언을 한다는 뜻은 아니다. 문서를 빠르게 요약하는 AI가 법률 문서의 책임 있는 검토를 대체할 수 있다는 뜻도 아니다. 의료 데이터를 잘 분석하는 AI가 실제 병원 현장에서 다양한 환자의 상황을 공정하게 반영한다는 보장도 없다.

특히 금융 분야에서는 이 차이가 중요하다. 대출 심사 AI가 과거 데이터에서는 높은 예측력을 보일 수 있다. 그러나 그 과거 데이터 안에 특정 지역, 연령, 직업, 성별에 대한 구조적 편향이 들어 있다면, AI는 그것을 효율이라는 이름으로 반복할 수 있다.

투자 추천 AI도 마찬가지다. 과거 시장에서 좋은 성과를 냈다는 사실이 미래의 리스크를 제대로 설명해주는 것은 아니다. AI의 성능은 숫자로 보일 수 있지만, 그 숫자가 실제 소비자 보호와 시장 안정성까지 보장하는 것은 아니다.

결국 AI 성능 주장은 법적 책임과 연결된다. 고객이 그 주장을 믿고 계약을 체결했다면, 나중에 문제가 발생했을 때 그 주장은 계약상 설명의무나 진술보장의 문제가 될 수 있다.

투자자가 그 성능 수치를 근거로 기업가치를 평가했다면, 그 수치의 근거와 검증 가능성은 투자 실사의 핵심이 된다. 규제기관이 고위험 AI의 안전성과 공정성을 판단해야 한다면, 기업이 제시하는 성능 주장은 더 이상 선택적 홍보자료가 아니라 감독의 대상이 된다.

사진출처: Pixabay, Business Compliance Meeting

사진출처: Pixabay, Business Compliance Meeting

한국에도 AI 실사와 평가 인프라가 필요하다

앞으로 AI 기업에 대한 투자와 인수, 금융기관의 AI 활용에서는 새로운 종류의 실사가 필요해질 것이다.

과거 기업을 평가할 때 재무 실사, 법률 실사, 기술 실사를 했다면, AI 시대에는 여기에 AI 실사가 더해져야 한다. 그 기업이 어떤 데이터를 사용했는지, 그 데이터 사용권은 적법한지, 모델의 성능 주장은 독립적으로 검증되었는지, 고위험 분야에서 사용할 경우 편향과 오류를 어떻게 관리하는지를 확인해야 한다.

이것은 규제를 늘리자는 이야기가 아니다. 오히려 시장을 제대로 작동하게 만들기 위한 신뢰의 인프라다. 검증되지 않은 AI 주장이 넘쳐나면 투자자는 판단하기 어렵고, 기업 고객은 도입을 주저하며, 정부는 과잉규제와 방임 사이에서 흔들리게 된다. 반대로 검증 가능한 기준이 마련되면 좋은 AI 기업은 더 쉽게 신뢰를 얻고, 위험한 AI 서비스는 시장에서 걸러질 수 있다.

AI 평가는 앞으로 하나의 산업이 될 가능성이 크다. AI 인증, 감사, 보험, 리스크 평가, 컴플라이언스, 제3자 검증 서비스가 새로운 시장으로 성장할 수 있다. 법과 제도는 기술의 발목을 잡는 장치가 아니라, 기술에 대한 신뢰를 만들어 자본이 움직일 수 있게 하는 장치가 된다.

이제 한국도 질문을 바꾸어야 한다. “우리 AI가 얼마나 뛰어난가”만 물어서는 부족하다. 더 중요한 질문은 이것이다. 그 뛰어남은 누가, 어떤 기준으로, 어떤 데이터에 근거해 입증했는가.

AI 성능 주장은 더 이상 기술 설명에만 머물지 않는다. 그것은 계약의 근거가 되고, 투자의 전제가 되며, 규제와 책임의 출발점이 된다. 앞으로 AI를 믿을 수 있는 사회는 AI를 많이 쓰는 사회가 아니라, AI의 주장을 제대로 검증하고 책임의 기준을 세울 수 있는 사회일 것이다.

AI 성능 주장은 누가 입증해야 하는가 [장준환의 AI법 네비게이터⑦]이미지 확대보기
장준환 뉴욕 변호사 (Private Wealth & Investment)

충북대학교 컴퓨터공학과 겸임교수/재미한인과학기술자협회(KSEA) 고문변호사

미국 뉴욕주 프라이빗 웰스 로펌의 대표 변호사로 자산 구조와 투자전략 설계 전문가다. AI를 비롯한 IT 관련 법률 지식에 정통해 충북대 컴퓨터공학과 겸임교수와 재미한인과학기술자협회 고문변호사를 맡고 있다. 도시재생 프로젝트를 추진하는 등 개발사업과 글로벌 갤러리 운영도 하면서 다양한 사회·문화 활동도 하고 있다. 차세대 한인 리더로서 AI 시대의 인간다움을 지키는 인프라를 구축해 입법·제도화한다는 비전을 갖고 오는 2028년 뉴욕주 하원의원 선거에 출마를 준비 중이다.

장준환 칼럼니스트/뉴욕 변호사

데일리 금융경제뉴스 FNTIMES - 저작권법에 의거 상업적 목적의 무단 전재, 복사, 배포 금지
Copyright ⓒ 한국금융신문 & FNTIMES.com

가장 핫한 경제 소식! 한국금융신문의 ‘추천뉴스’를 받아보세요~

오피니언 다른 기사

1 김승언 남양유업 대표, 남양유업 부활 이끈 ‘25년 남양맨ʼ 과거 국내 유업계 1위를 자랑하던 남양유업은 오너 리스크와 소비자 불매 운동으로 실적과 기업 이미지가 동반 추락했다. 이후 오너 리스크를 털어내고 새 주인을 맞이하면서 경영 정상화에 나섰고, 지난해에는 영업이익 흑자 전환에도 성공했다.이 같은 변화의 중심에는 김승언 남양유업 대표가 주도한 전사적 체질 개선이 자리하고 있다는 평가다.1976년생인 김승언 대표는 고려대 식품공학과를 졸업하고 일본 게이오대 MBA를 수료했다. 이후 2001년 남양유업에 입사해 경영기획실장, 생산전략부문장, 기획본부장 등을 거친 정통 ‘남양맨’이다.김 대표는 2021년 5월 이광범 전 대표가 사임하면서 같은 해 10월부터 경영지배인에 오르며 비상경 2 집 더 짓는다더니 ‘재건축 부담금ʼ 족쇄 정부는 집값을 잡겠다는데 재건축 현장에서는 집값이 오를 것을 가정한 부담금이 등장했다. 집값 안정을 위해 공급 확대를 외치는 정부와 수억원대 부담금을 마주한 조합원들. 같은 주택시장을 바라보지만 처한 현실은 딴판이다.서울 강남구 대치동 은마아파트가 대표적이다. 강남구가 최근 통보한 재건축 부담금 예정액은 조합원 1인당 평균 4억6334만원, 전체 2조44억원에 달한다. 1979년 준공된 4424가구를 5850가구로 재건축하는 사업이다.부담금은 2035년 준공을 가정해 추정한 미래 주택가격에서 정상적인 가격 상승분과 개발비용 등을 공제해 산정했다. 실제 금액은 준공 시점에 달라질 수 있지만, 조합원들은 아직 손에 쥐지도 못한 이익 3 자기소개 스피치, 이름 말고 '해결'을 소개하라 요즘 사업가들의 교육이나 CEO 모임에서 강의 의뢰를 자주 받는다. 그 강의를 시작할 때 나는 늘 같은 질문을 던진다. "내가 파는 상품이나 서비스, 이 세상에서 나만 판다! 하시는 분 계세요? 손 한번 들어 보시겠어요?"손은 좀처럼 올라오지 않는다. 다들 질문의 의도를 눈치챘지만, 그렇다고 손을 들 수도 없다. 가끔 장난스럽게 손을 번쩍 드는 분이 있다. 그러면 나는 아낌없이 박수를 보내고 진심으로 부러워한 뒤 넘어간다. 정말 그렇다면 그분은 지금 이 자리에서 강의를 듣고 있지 않을 테니까.사업가의 숙명이 여기에 있다. 나만 파는 물건은 없다. 그래서 고객의 질문은 결국 하나로 모인다. "왜 꼭 당신이어야 하는가?"일터의 자기소
ad
ad
ad

한국금융 포럼 사이버관

더보기

FT카드뉴스

더보기
[카드뉴스] 서울에서 떠나는 6000년 시간여행, 강동선사문화축제
[카드뉴스] 강감찬을 만나는 가을, 낙성대로!
[카드뉴스] 새우젓 따라 만나는 옛 마포나루
[카드뉴스] 성북동 언덕길, 만해의 집을 만나다
[카드뉴스] 약재 향 따라 걷는 서울약령시

FT도서

더보기