[정보통신신문=서유덕기자]

국내 연구진이 주변 환경에서 얻은 정보를 기억해 뒀다가 필요한 순간에 스스로 찾아 확인하는 로봇 인공지능(AI) 기술을 개발했다. 불확실한 정보를 추측하기보다 저장된 기억을 확인해 행동을 계획하는 방식으로, 향후 가정·서비스 로봇 등에 활용될 것으로 기대된다.

한국전자통신연구원(ETRI)은 광주과학기술원(GIST)과 공동으로 환경을 직접 관측하는 과정과 저장된 기억을 능동적으로 조회하는 과정을 결합한 AI 에이전트 기술 ‘씬쿼리플래너(SceneQueryPlanner)’를 개발했다고 26일 밝혔다.

최근 로봇은 대형언어모델(LLM)을 활용하면서 사람의 말을 이해하고 여러 단계의 작업을 수행할 수 있게 됐다. 그러나 실제 생활환경에서 “유리컵만 옮겨 줘” 또는 “켜져 있는 전자제품을 모두 꺼줘”와 같은 지시를 수행하려면 물체의 이름뿐 아니라 재질, 상태, 위치 관계를 파악하고, 여러 공간을 오갈 때 앞서 확인한 정보를 기억해야 한다.

기존 AI 에이전트는 관측한 환경정보를 긴 문장으로 한꺼번에 전달받는 방식이어서 정보가 쌓일수록 정작 필요한 내용이 묻히는 한계가 있었다. 필요한 정보가 빠져 있으면 언어모델이 가진 사전 지식에 기대어 잘못 추측하는 문제도 생긴다.

연구진은 이를 해결하기 위해 로봇이 관측한 방과 가구, 물체의 위치와 속성 등을 ‘3차원(3D) 장면 그래프’ 형태로 저장하는 기술을 개발했다. 주변 환경을 입체 지도처럼 기억하는 방식이다.

이는 물체의 재질과 열림·닫힘, 켜짐·꺼짐 등 상태를 서로의 관계와 함께 정리한 일종의 구조화된 기억으로, 새로운 정보를 관측할 때마다 내용을 갱신한다.

핵심은 저장된 기억을 쓰는 방식에 있다. 씬쿼리플래너는 로봇이 직접 움직이고 살펴보며 주변을 확인하는 ‘환경 그라운딩(Environment Grounding)', 저장해 둔 기억에서 지금 필요한 정보만 골라 찾아보는 '메모리 그라운딩(Memory Grounding)'을 함께 사용한다.

모든 기억을 한꺼번에 읽는 대신 현재 작업에 필요한 물체의 속성이나 위치관계 등을 선택적으로 조회, ‘무엇을 할지’뿐 아니라 ‘무엇을 더 확인할지’도 스스로 계획한다.

예를 들어 “식탁 위 유리컵은 선반에, 플라스틱 컵은 캐비닛에 정리해 줘”라는 명령을 받은 로봇은 식탁 위의 컵들을 확인한 뒤 기억에서 각 컵의 재질 정보를 조회, 유리컵과 플라스틱 컵을 구분해 각각 지정된 장소로 옮긴다. 재질을 임의로 추측하지 않고 확인한 정보에 따라 행동하는 것이다.

아울러 연구진은 기술 성능을 검증하기 위해 복잡한 가정환경에서 AI의 작업 수행능력을 평가하는 ‘앳플랜-벤치AttPlan-Bench)’도 개발했다. 여기에는 여러 방을 이동하며 물건을 옮기고, 데우거나 식히고, 청소하고, 기기를 켜고 끄는 등 10가지 유형의 복합작업이 포함됐다. 특히 재질과 상태, 위치관계를 활용해야 하는 속성 기반 작업을 따로 구성했다.

실험 결과 씬쿼리플래너는 오픈소스와 상용 모델 모두에서 기존 리액트(ReAct) 방식보다 높은 임무 성공률을 보였다. 메타의 라마(LLaMA 3.1)와 알리바바의 큐원(Qwen 2.5) 등 공개 모델에서는 성공률이 각각 46.8%에서 69.6%로, 44.0%에서 68.0%로 높아졌다. 오픈AI의 상용 모델(GPT-4o)에서도 모든 평가환경에서 기존 방식을 앞섰으며, 속성 기반 복합작업의 성공률은 17.2%포인트(p) 향상됐다.

이번 기술은 로봇이 단순히 많은 정보를 기억하는 수준을 넘어 필요한 순간에 정확한 정보를 찾아 활용하도록 했다는 점에서 의미가 있으며, 향후 가정·돌봄 로봇 등 실제 환경에서 스스로 판단하고 행동하는 피지컬 AI 기술 발전에 기여할 것으로 기대된다는 설명이다.

최재우 ETRI 소셜로보틱스연구실 선임연구원은 “이번 기술은 로봇이 관측한 환경정보를 체계적으로 기억하고, 필요한 순간에 스스로 찾아 활용하도록 한 것이 핵심”이라며 “앞으로 실제 생활환경에서도 로봇이 불확실한 정보를 추측하기보다 자신의 경험과 기억을 확인하며 안정적으로 행동하도록 기술을 고도화하겠다”고 말했다.

김의환 GIST 교수는 “3차원 장면 그래프는 로봇이 관측한 공간을 방, 가구, 물체의 계층과 관계로 정리한 구조화된 기억”이라며 "이번 연구는 이 기억을 단순히 저장하는 데 그치지 않고, 에이전트가 필요한 정보를 스스로 질의해 꺼내 쓰는 능동적 메모리로 발전시켰다는 데 의미가 있다”고 말했다.

연구진은 씬쿼리플래너와 앳플랜-벤치의 코드 및 벤치마크를 공개해 후속 연구에 활용할 수 있도록 했다. 향후에는 카메라와 센서에서 들어오는 불완전한 환경정보를 다루는 실제 로봇 환경으로 기술을 확대한다는 계획이다.