AI 도시의 숙제, AI 안전망과 블록체인 [전명산의 AI블록체인도시 이야기⑧]

자동차가 처음 사회에 도입되었을 때, 그것은 완성된 형태가 아니었다. 속도 규제, 차선, 신호등, 단속 카메라, 과속 방지턱이 한 세기에 걸쳐 만들어졌다. 무수한 사고와 사회적 논의와 물리적·제도적 개선을 거쳐 비로소 자리잡은 안전 장치들이다. AI도 다르지 않다.

불과 몇 년 전까지만 해도 AI는 검색창 안에 있었다. 이제는 도시 안으로 들어오고 있다. 중국은 2016년부터 항저우에서 City Brain이라는 AI 기반 도시 운영 시스템을 가동 중이다. 싱가포르는 2022년 도시국가 전체의 3D 디지털 트윈인 Virtual Singapore를 완성하고, 2024년 Smart Nation 2.0 단계에 진입했다.

일본 토요타는 후지산 기슭에 Woven City를 만들어 2025년 9월 정식 오픈했고, 2026년 4월부터 도시 전체의 보행자·차량·환경을 통합 인식하는 AI Vision Engine을 가동하고 있다. 사우디아라비아의 NEOM 프로젝트는 세계 최초의 cognitive city를 표방하며 도시 전체를 AI가 운영하는 신도시를 추구했다. 세계 곳곳에서 AI 도시 운영 체제는 이미 가시화되고 있다.
그렇다면 AI 안전 문제 역시 피할 수 없다. 사실 위에서 언급한 프로젝트들 어디에도 시민이 AI를 검증할 수 있는 거버넌스가 처음부터 설계된 곳은 없다. AI 안전이 본격적 문제로 제시되기 이전에 만들어진 도시들이기 때문이다. 또한 Physical AI를 내장한 자율 로봇이나 드론, 자율주행차들이 도시의 가시권에 들어오기 전이었다. 이제는 도시의 모든 사물들이 AI를 내장하는 단계에 진입하고 있다.

사정이 달라진 것이다. 검색 AI가 틀리면 사람은 불편함을 느낀다. 그러나 도시 인프라에서 AI가 잘못 작동하면 교통 체계와 전력 시스템 같은 현실 세계에 즉시 영향을 준다. AI 안전은 더 이상 IT 업계 내부의 문제가 아니다. 도시 인프라와 시민 일상, 도시 전체 안전의 문제다.

지난 칼럼에서 필자는 기본소득을 제공하도록 설계되는 도시가 AI 안전 문제에 직면하게 될 것이라고 진단했다. 그런데 기본소득 도시만이 아니다. 지금 이 시점 도시를 새로 만드는 작업은 'AI 안전망'을 고려해야 한다. 도시가 만들어진 뒤에 안전을 덧붙이는 것이 아니라, 처음부터 안전이 인프라에 내장되도록 설계해야 한다. 도시 AI는 단순한 앱이 아니다. 교통·전력·행정·치안 같은 현실 세계 시스템과 연결된다. 따라서 "AI가 무엇을 판단했는가"뿐 아니라 "그 판단을 누가 검증할 수 있는가", "기록은 남는가", "권한은 어디에 집중되는가"가 핵심 문제가 된다. AI 도시에는 단순한 AI 성능을 넘어 신뢰를 검증할 수 있는 별도의 인프라가 필요하다.

따라서 AI-로봇 시대에 근본적인 해결책을 모색하는 기본소득 모델 도시를 만드는 작업은 동시에, AI 안전을 바닥부터 고려한 새로운 도시를 설계할 수 있는 계기를 제공한다.

세 가지 층위의 AI 안전 문제

도시 AI 안전 문제는 세 가지 층위로 나누어볼 수 있다.
첫째 축은 모델 안전성(Model Safety)이다.
AI 모델 자체가 얼마나 안정적으로 작동하는가의 문제다. 환각(Hallucination), 편향(Bias), 예측 불가능성, 정렬(Alignment)의 어려움 — 지난 회들에서 짚었던 위험들이다. 인간이 설정한 목표와 정확히 일치하지 않을 수 있고, 자신이 평가받는 중인지 실제 운영 중인지를 구분해 평가 단계에서만 더 고분고분하게 행동하는 경향도 거듭 보고되고 있다. 실험실 검증이 실제 환경의 안전을 보장하지 못한다는 의미다. 최근 일부 AI 에이전트 실험에서는 목표 수행 과정에서 로그나 기록을 삭제하려는 행동 패턴이 보고되기도 했다.

문제는 조금 더 복잡하다. 도시 AI는 한 종류가 아니다. 신호등 적응 제어에는 강화학습(Reinforcement Learning)이, 시민 응대에는 대형 언어 모델(LLM)이, CCTV 분석에는 컴퓨터 비전이 쓰인다. 강화학습은 진짜 목표를 무시하고 측정 점수만 높이는 방식으로 작동할 수 있다. 평균 통행 시간을 줄이라고 학습시키면 주거 지역으로 차량을 우회시켜서라도 평균을 줄인다. 지표는 좋아지지만 도시는 더 나빠진다. 컴퓨터 비전은 적대적 공격(Adversarial Attack)에 취약하다. 정지 표지판에 작은 스티커 하나가 속도 제한 표지로 오인되는 사례가 학술적으로 입증되었다.

이러한 문제는 모델 자체를 더 정교하게 만들고 정밀하게 훈련시키는 방식으로 해결해야 한다.

둘째 축은 데이터 무결성(Data Integrity)이다.
AI는 데이터를 기반으로 판단한다. 입력 데이터가 조작되거나 오염되면 AI도 잘못된 결론에 도달한다. 센서 데이터, CCTV 영상, IoT 정보, 시민의 이동·결제·민원 기록 — 도시 AI에서는 이 모든 데이터의 신뢰성이 보장되어야 한다. 기존에는 데이터 무결성 훼손이 개별 사고로 끝났지만, AI 시대에는 오염된 데이터가 다수 시스템과 모델에 동시에 영향을 주며 시스템 전체의 오작동으로 확산될 수 있다.

셋째 축은 AI를 관리하는 외부 안전 장치(External Safety Layer)다.
AI가 잘못된 판단을 내렸을 때 누가, 어떻게 검증하고 정정할 것인가의 문제다. 감사 가능성(Auditability), 권한 분산, 인간 개입(Human Oversight), 비상 정지 체계(Kill Switch) 등이 여기에 속한다.
세 축은 대체 관계가 아니라 보완 관계다. 어느 하나만으로는 안전이 성립하지 않기에, 다층 방어(Defense-in-Depth) 구조로 설계되어야 한다.

블록체인의 역할

방화벽, 침입 탐지 시스템(IDS), 접근 권한 관리, 암호화 같은 기존 보안 기술들은 당연히 함께 활용될 것이다. 그리고 아직까지 적극적으로 활용되지 못하고 있는 기술이 있는데, 그것이 바로 블록체인이다. 많은 이들에게 코인 기술로 알려져 있지만, 블록체인의 핵심 특징은 데이터를 위·변조가 어렵도록 저장·관리하는 구조에 있다. 이 특징은 AI 안전과 관련하여 다른 기술이 제공하지 못하는 기능을 수행한다.
명확히 할 부분이 있다. 블록체인은 AI 자체를 안전하게 만드는 기술이 아니다. 환각이나 추론 오류를 해결하는 기술도 아니다. 모델 안전성은 AI 알고리즘과 학습 데이터·방법론으로 풀어야 하는 문제로, 블록체인과는 무관하다. 반면 데이터 무결성과 외부 안전 장치 영역에서 블록체인은 강력한 기능을 수행한다.


첫째, 데이터 무결성과 복원 가능성
일반 데이터베이스에서는 운영 권한을 가진 주체가 기록을 수정·삭제할 수 있다. 그러나 블록체인에 기록된 데이터는 위·변조가 매우 어려운 방식으로 저장된다. AI가 어떤 결정을 했는지, 어떤 데이터를 사용했는지, 무엇을 바꿨는지 등 AI의 주요 행위 기록을 사후 변경이 매우 어려운 형태로 저장할수 있다.
AI가 실수할 가능성이 광범위하게 논의되면서 복원 가능성(Reversibility)은 AI 안전 관리의 핵심 요소로 떠오르고 있다. 그런데 문제 발생 직전 데이터의 무결성을 신뢰할 수 없다면 복원 자체가 불가능하다. 블록체인에 저장된 무결한 기록들은 안전한 복원의 기준점을 제공한다.

둘째, 감사 추적 가능성
도시 AI 시스템에서는 누가, 언제, 무엇을 결정했는가의 추적이 결정적이다. 다중 AI가 협업해 결정을 내릴 때 누구의 결정도 아닌 결과가 발생할 수 있다. 시민이 도시 운영의 결정에 의문을 가졌을 때 그 경로를 추적할 수 없다면, 도시는 블랙박스가 된다.
블록체인은 중요한 의사결정들을 시간 순서대로 위·변조가 어렵게 기록함으로써 이 문제에 대응한다. 사후 검증, 책임 소재 규명, 그리고 시민이 도시 운영의 정당성을 투명하게 확인할 수 있는 기반을 제공한다.

셋째, 권한의 분산 관리
블록체인의 또 다른 중요한 특징은 권한의 분산 관리다. 복수 노드의 탈중앙화 네트워크, 그리고 명령 실행에 복수 서명을 요구하는 다중 서명(Multi-signature) 구조가 그것이다. 블록체인의 최종 신뢰를 보장하는 핵심 장치다.

한 사람의 비밀번호 하나를 해킹하는 일은 가능하다. 한 회사의 서버 하나를 침투하는 일도 가능하다. 한 정부의 보안 시스템을 뚫는 일도 가능하다. 그러나 서로 독립적인 다섯 주체가 각자 가진 권한을 동시에 탈취하는 것은 차원이 다른 문제다. 다른 위치, 다른 인프라, 다른 보안 정책 아래 있기 때문이다. 한 곳을 뚫어도 다른 네 곳이 막혀 있으면 전체 시스템은 유지된다.

AI 시대에 탈중앙화가 특별한 의미를 가지는 이유가 여기에 있다. AI 시대 이전에는 사람이 시스템을 운영하고 결정하고 책임졌다. 권력 집중이 부담스럽기는 했지만, 누가 무엇을 결정했는지는 분명했다. 그러나 AI 시대에는 다르다. AI가 방대한 권한과 자율성을 갖게 될수록 단일 운영 주체가 시스템 전체를 통제하기 어려워진다. AI가 오작동으로 시스템 권한 탈취를 시도하는 경우에도 복수의 독립된 권한을 동시에 확보해야 하기 때문에, 탈중앙화 구조는 단일 시스템보다 훨씬 높은 보안을 제공한다. 블록체인 산업에서 발전된 ‘탈중앙화’ 구조는 AI 시대에 특별히 중요한 역할을 수행하게 될 것이다.

기술적 과제와 해결 방향
다만 블록체인 기술은 여러 한계를 가지기에, 한계를 극복하는 다양한 방법론을 동원해야 한다. 가장 큰 문제는 처리 속도다. 비트코인은 초당 약 7건, 이더리움은 약 30건의 거래를 처리한다. 수십만 개의 센서가 매초 데이터를 생성하고, 자율주행 차량이 0.1초 단위로 결정을 내리는 도시에는 초당 수만~수십만 건을 처리할 수 있는 인프라가 필요하다. 저장 공간도 문제다. 모든 노드가 모든 데이터를 보관하는 구조는 도시의 방대한 데이터에 적용할 수 없다.


해결 방향은 이미 상당 부분 제시되어 있다.

첫째, 탈중앙화 불록체인, 프라이빗 블록체인 그리고 오프체인(Off-chain)의 결합구조를 활용하는 것이다. 실시간 처리가 필요한 작업은 처리 속도가 빠른 프라이빗 블록체인 또는 오프체인에서 처리하고, 최종 정산과 핵심 기록만 신뢰성 높은 탈중앙화 불록체인에 기록하는 것이다. 이미 블록체인 산업에서는 필요에 따라 블록체인 아키텍처를 여러 층으로 쌓아 활용하는 레이어 1(Layer 1), 레이어 2, 레이어 3 방식이 일반화되어 있다.

둘째, 영지식 증명(Zero-Knowledge Proof, ZKP)도 요긴하게 사용될 수 있다. ZKP는 원본 데이터를 공개하지 않고도 그 데이터가 특정 조건을 만족함을 증명할 수 있다. 예컨대 시민의 의료 기록이나 결제 데이터 같은 민감 정보 원본을 공개하지 않으면서 데이터가 위·변조되지 않았음과 AI가 그것을 정당하게 사용했음을 동시에 증명할 수 있다. 도시 차원에서 프라이버시와 검증 가능성을 동시에 달성하는 결정적 기술이다.

셋째, 도시의 거의 모든 사물에 내장될 Physical AI에 대응하는 새로운 안전장치가 필요하다. 데이터 무결성은 데이터가 생산되는 바로 그 디바이스에서 생산되는 바로 그 시점부터 확보되어야 한다. 이를 위해서는 결국 데이터가 생산되는 최전선인 각종 디바이스들이 실시간에 가깝게 블록체인 기능을 활용할 수 있어야 한다. 필자는 이를 위해 카이스트 연구진과 함께 Physical Blockchain이라는 기술적 방법론을 구체화하고 있다. Physical Blockchain은 도시 곳곳의 센서, 로봇, 드론 등 각 물리 디바이스에 칩으로 내장되어 작동하는 레이어 3 (또는 레이어 2) 블록체인으로, 각 디바이스의 데이터 및 시스템 무결성을 검증하는 역할을 수행할 수 있다.

이러한 기술들은 이미 산업에서 부분적으로 검증되어 있다. 블록체인의 도시 적용은 원리적으로 불가능한 문제가 아니라 해결되어 가고 있는 기술적 과제다.

블록체인 — 도시 운영체제의 신뢰 레이어

다시 확인하자. 도시를 운영하는 AI의 안전 문제는 블록체인만으로 해결되지 않는다. 다만 블록체인은 다른 기술이 제공하기 어려운 특별한 안전 장치를 제공한다. 도시 적용은 아직 본격적으로 시도되지 않은 영역이기에 수많은 실험과 시행착오가 필요할 것이다.

인터넷 시대에 TCP/IP와 HTTPS가 통신 신뢰의 기본 인프라가 되었던 것처럼, AI 시대에도 신뢰와 검증을 위한 새로운 인프라 레이어가 필요하다. 블록체인은 AI 도시에서 신뢰와 검증을 보조하는 인프라 레이어로 중요한 역할을 수행하게 될 것이다. 나아가 블록체인은 시민들이 도시 시스템을 검증하고 통제할 수 있는 기술적 기반으로 활용될 수 있다.


전명산 소셜인프라테크 대표는
블록체인 전문가로 기술과 사회시스템의 구조적 변화를 연구하는 기획자이자 개발자이다. 서울대학교 사회학과를 졸업하고 인터넷 산업에서 25년 이상 활동하고 있으며, 한국 최초 블로그 미디어 ‘미디어몹’을 기획한 바 있다. SK커뮤니케이션즈(싸이월드) R&D 연구소 팀장 등을 거쳐 블록체인 플랫폼과 분산시스템 기술을 개발해왔다. 현재 (주)소셜인프라테크 대표이사로 재직 중이며 오랫동안 천착해 온 블록체인 거버넌스 연구를 바탕으로 AI·블록체인·에너지·도시 인프라를 결합, 기본소득 문제를 해결하고 지속 가능한 사회 체제로 전환하는 전기 문명 프로토타입 ABCity(AI Blockchain City) 프로젝트를 제안하는 책 『가속해도 괜찮아! ABCity-AI 시대를 위한 전기 문명 프로토타입』(2026)을 냈다.

전명산 칼럼니스트/소셜인프라테크 대표