[정보통신신문=박남수기자]

생성형 인공지능(AI)의 숨겨진 취약점을 기존보다 7배 이상 다양하게 찾아낼 수 있는 AI 안전성 검증 기술이 국내 연구진에 의해 개발됐다. AI 서비스 상용화가 확산되는 가운데 신뢰성과 안전성을 높일 핵심 기반기술로 주목받고 있다.

KAIST는 전기및전자공학부 김준모 교수 연구팀이 대규모언어모델(LLM)의 안전성을 검증하는 AI 레드팀(Red Teaming) 기술의 한계를 개선한 새로운 프레임워크 '스테이블-GFlowNet(Stable-GFlowNet)'을 개발했다고 30일 밝혔다.

AI 레드팀은 생성형 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트를 만들어 모델의 취약점을 찾아내는 검증 기법이다. 다양한 공격 유형을 발굴할수록 AI의 위험 요소를 사전에 제거할 수 있어 AI 안전성 확보를 위한 핵심 기술로 꼽힌다.

그러나 기존 강화학습 기반 레드팀 기술은 성공률이 높은 일부 공격 방식만 반복적으로 생성하는 '모드 붕괴(Mode Collapse)' 현상으로 인해 다양한 취약점을 발견하지 못하는 한계가 있었다.

이를 보완하기 위해 생성 흐름 네트워크(GFlowNet)가 제안됐지만, 계산량이 많고 학습 안정성이 떨어지는 문제가 지속적으로 제기돼 왔다.

연구팀은 이러한 문제를 해결하기 위해 세 가지 핵심 기술을 적용했다.

우선 대조 궤적 균형(CTB) 기법을 도입해 학습 과정의 계산 부담을 줄이고 안정성을 높였다.

또 노이즈 경사 가지치기(NGP) 기술을 통해 학습 과정에서 불필요한 정보를 제거하고 중요한 정보만 반영하도록 설계했다.

여기에 유창성 안정화(MKS) 기법을 적용해 실제 사람이 사용할 법한 자연스러운 공격 프롬프트를 생성하도록 개선했다.

이를 통해 AI가 보다 다양한 형태의 공격을 학습하고 취약점을 효과적으로 탐색할 수 있도록 했다.

실험 결과 새롭게 개발한 스테이블-GFlowNet은 기존 기술이 찾아낸 17개의 고유 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했다.

또한 해당 기술을 활용해 학습한 방어 모델은 서로 다른 공격 기법으로 성능을 평가하는 교차 공격(Cross Attack) 실험에서도 우수한 방어 성능과 일반화 능력을 보였다.

연구팀은 이번 기술이 생성형 AI 안전성 검증뿐 아니라 신약 후보물질 탐색을 위한 분자 생성(Molecular Generation)과 같은 다양한 AI 생성 모델에도 활용될 수 있을 것으로 기대하고 있다.

김준모 KAIST 교수는 "이번 기술은 적은 데이터와 노이즈가 많은 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있다는 점에서 의미가 크다"며 "생성형 AI를 실제 서비스에 적용하기 전에 보다 폭넓은 위험 요소를 사전에 검증할 수 있는 핵심 기반기술이 될 것"이라고 말했다.

이번 연구는 KAIST 전기및전자공학부 권민찬 박사과정이 제1저자로 참여했으며, 인공지능 분야 최고 권위 학술대회인 국제머신러닝학회(ICML 2026)에서 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐다.

연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 SW스타랩 사업 지원을 받아 수행됐다.

생성형 AI가 금융, 공공, 의료, 국방 등 다양한 산업으로 확산되면서 AI 안전성(AI Safety) 은 성능 못지않게 중요한 경쟁력으로 부상하고 있다. 최근 글로벌 빅테크들도 레드팀 운영을 통해 AI 모델의 허위정보 생성, 유해 콘텐츠, 보안 취약점 등을 사전에 검증하고 있다.

KAIST의 이번 연구는 국내 AI 안전성 기술을 한 단계 끌어올렸다는 점에서 의미가 크다. 특히 AI 모델 개발 단계에서 다양한 취약점을 사전에 발견하고 방어 성능을 높일 수 있어, 향후 국내 AI 서비스의 신뢰성 확보는 물론 AI 보안, AI 거버넌스, 국산 LLM 고도화 등 AI 산업 전반의 경쟁력 강화에도 기여할 것으로 기대된다.