로봇도 ‘경험’이 재산…피지컬 AI, ‘학습 데이터’가 승부 가른다

[한국금융신문 김재훈 기자] 생성형 AI를 넘어 실제 물리 공간에서 스스로 판단하고 움직이는 ‘피지컬 AI(Physical AI)’ 시대가 도래하면서 글로벌 로봇 업계의 주도권 경쟁이 ‘학습 데이터 확보’로 이동하고 있다. 단순한 인터넷 텍스트나 이미지를 학습하는 기존 AI와 달리, 피지컬 AI는 물체와의 상호작용, 공간 인식, 물리적 변수 등 현실 세계의 행동·상호작용 데이터가 필수적이기 때문이다.

특히 로봇이 공장, 물류창고, 국방 등 다양한 현장에서 스스로 판단하고 작업하는 시대가 다가오면서, 로봇의 성능은 단지 하드웨어 스펙만으로 결정되지 않는다. 인간이 오랜 시간 쌓아온 작업 경험을 어떻게 고품질 데이터로 전환하고, 이를 가상 환경에서 효율적으로 확장하느냐가 피지컬 AI 경쟁력의 본질이 되고 있다.

26일 로봇 및 AI 업계에 따르면, 로봇이 산업 현장의 수많은 변수를 학습하고 정교하게 작동할 수 있도록 돕는 학습 데이터 축적 및 보완 기술이 핵심 과제로 떠오르고 있다.

디지털 트윈 등 데이터 수집의 진화

현재 로봇 학습 데이터를 수집하는 가장 직관적인 방식은 사람이 직접 원격으로 로봇을 조작하는 ‘텔레오퍼레이션(Teleoperation)’이다. 사람이 시연하는 과정에서 카메라 영상, 관절 움직임, 위치 및 자세 등의 정보가 데이터로 쌓인다. 또한 로봇이 스스로 시행착오를 겪으며 보상을 통해 최적의 행동 전략을 찾는 ‘강화학습’도 활용된다.

그러나 현실 세계에서 수행하는 반복적인 실습이나 시행착오 방식은 막대한 시간과 비용이 들 뿐만 아니라, 공장이나 물류 현장에서 오작동으로 인한 안전사고를 유발할 수 있다는 한계가 있다.

이에 대한 대안으로 현실 작업 환경을 가상 공간에 똑같이 구현하는 ‘디지털 트윈(Digital Twin)’과 시뮬레이션 기술이 적극 도입되는 추세다. 가상 환경을 이용하면 실제 로봇 가동에 따른 비용과 위험 부담 없이 수많은 극단적 예외 상황(Edge Case)을 안전하게 반복 학습시킬 수 있다.

아울러 유튜브 등 인터넷에 공개된 인간의 작업 영상을 데이터화하는 연구도 활발하다. 2D 영상의 특성상 마찰력이나 무게감 같은 물리 정보가 빠져 있다는 단점이 있지만, 업계는 인간 행동 영상 데이터와 실제 로봇 데이터, 시뮬레이션 데이터를 유기적으로 결합해 한계를 극복하고 있다.

글로벌 빅테크, ‘현실 직관’으로 주도권 선점

글로벌 대표 기업들은 현실에서의 직접 수집과 가상 세계에서의 확장 기술을 유기적으로 조합하며 기술 격차를 벌리고 있다.

테슬라는 자율주행 차량 수백만 대에서 수집되는 무수한 도로 환경 데이터와 인간 조작자가 슈트를 입고 휴머노이드 로봇 '옵티머스(Optimus)'를 직접 원격 제어하는 텔레오퍼레이션 방식을 통해 작업 동작을 수집·학습시키고 있다.
엔비디아는 3D 가상 시뮬레이션 플랫폼 '옴니버스(Omniverse)'와 세계 기반 모델 '코스모스(Cosmos)'를 활용해 물리 법칙이 정확히 반영된 '합성 데이터(Synthetic Data)'를 대량으로 생성한다. 현실에서 시험하기 위험하거나 드문 예외 상황(Edge Case)을 가상 공간에서 수억 번 안전하게 반복 학습시키는 방식이다.

구글 딥마인드는 인터넷의 방대한 비디오 데이터와 로봇 행동을 연결하는 시각·언어·행동(VLA) 파운데이션 모델을 개발 중이다. 2D 영상의 물리 정보 한계를 넘기 위해 실제 로봇 시연 데이터와 결합해 새로운 작업을 수차례 시연만으로 익히도록 만들고 있다.

국내 기업, 국방‧휴머노이드 파이프라인 구축

국내에서도 현실 세계의 경험 부족을 가상 환경에서 보완하거나 사람의 동작을 로봇 데이터로 변환하려는 시도가 본격화되고 있다.

먼저 현대자동차그룹은 자동차 생산 현장 자체를 피지컬 AI의 대규모 학습 공간으로 개조하고 있다. 싱가포르 글로벌 혁신센터(HMGICS)의 디지털 트윈 플랫폼을 통해 실제 공장 환경을 가상 세계에 실시간 동기화하고, 가상 공간에서 무수한 변수를 시뮬레이션해 학습 데이터를 축적한다.

이렇게 확보한 데이터는 보스턴 다이내믹스의 차세대 휴머노이드 로봇 ‘아틀라스(Atlas)’ 등에 이식되어 실제 공정 작업에 투입되는 선순환 구조를 구축 중이다.

두산로보틱스는 엔비디아 피지컬 AI 소프트웨어 엔진을 고도화해 가상 시뮬레이션 환경에서 협동로봇의 지각, 추론, 행동 데이터를 학습시키고 있다. 실제 산업 현장에서 로봇을 가동하며 발생하는 시행착오와 위험 요소를 디지털 트윈 기반 합성 데이터로 대체해 학습 효율을 대폭 끌어올리는 방식이다.

완성차 및 대기업 제조사 외에도 국내 AI 전문 기술 기업 NC AI는 디지털 트윈, 월드모델, 인간 동작 데이터 등을 통합 활용해 피지컬 AI 학습용 데이터 기반을 고도화하고 있다.

국방 분야에서는 현대로템과 협력하여 무인 장비와 로봇이 투입될 다양한 전장·작업 상황을 가상 공간에 재현하는 ‘피지컬 AI 통합 시뮬레이터’ 개발을 추진 중이다. 월드모델을 기반으로 현실에서 구현하기 어려운 환경을 가상 세계에 구축해 로봇의 운용 능력을 학습하고 검증하는 방식이다.

또한 NC AI는 LG전자 등과 함께 추진하는 휴머노이드 국책과제에도 참여해 사람의 움직임을 로봇 데이터로 변환하는 기술 개발을 맡았다. 그동안 축적해 온 모션 데이터와 애니메이션 제작 노하우를 바탕으로 General Motion Tracking(GMT) 초기 학습 데이터를 구축하고, ‘휴먼-로봇 리타게팅(Human-to-Robot Retargeting)’ 파이프라인을 완성한다는 계획이다.

업계 관계자는 “로봇 산업의 중심축이 하드웨어 제조에서 소프트웨어 및 데이터 기반 학습 환경 구축으로 이동하고 있다”며 “앞으로는 로봇에게 '무엇을 시킬 것인가'보다 '현실과 가상을 아울러 무엇을 어떻게 배우게 할 것인가'가 피지컬 AI 주도권을 결정짓게 될 것”이라고 전망했다.

김재훈 한국금융신문 기자 rlqm93@fntimes.com