인공지능(AI)이 예측을 틀렸을 때 오차 자체를 다시 예측하게 만드는 '메타 예측' 학습법이 나왔다.

KAIST는 이상완 뇌인지과학과 석좌교수 연구팀이 인간 뇌의 학습 원리를 딥러닝에 적용해 깊은 AI 모델도 안정적으로 학습시키는 기술을 개발했다고 1일 밝혔다. 연구결과는 AI 국제학회 'ICLR 2026'에 채택돼 지난 1월 26일 온라인 게재됐다.

인간의 뇌는 정보를 수동적으로 받아들이지 않는다. 다음에 무슨 일이 일어날지 먼저 예측하고 결과가 다르면 그 차이를 줄이는 방향으로 스스로를 수정한다. 바둑에서 상대의 다음 수를 예상했다가 빗나가면 전략을 바꾸는 것과 비슷하다. 뇌과학에서는 이를 '예측 부호화'라 부른다.

과학자들은 이 원리를 AI에 적용하려 했지만 신경망 층이 깊어질수록 오차가 특정 부위에 몰리거나 아예 사라져 학습이 제대로 이뤄지지 않는 문제가 반복됐다.

연구팀은 문제의 원인을 수학적으로 규명한 뒤 새로운 해법을 제시했다. AI가 결과만 예측하는 데 그치지 않고 예측이 틀렸을 때 그 오차가 앞으로 어떻게 변할지까지 다시 예측하도록 만들었다. 연구팀은 이를 틀린 이유를 한 번 더 되짚는 '메타 예측'이라 불렀다. 이 방식을 적용하자 깊은 신경망에서도 학습이 멈추지 않고 안정적으로 진행됐다.

총 30가지 실험 가운데 29개에서 현재 AI의 표준 학습법인 역전파보다 높은 정확도를 기록했다. 역전파는 AI가 틀린 만큼 거꾸로 되돌아가며 고치는 방식으로 전체 네트워크를 한꺼번에 계산하고 한꺼번에 수정해야 한다. 반면 메타 예측 방식은 뇌처럼 각 부분이 독립적으로 학습하면서도 전체 성능을 유지할 수 있다는 점을 입증했다.

이번 기술은 사람의 뇌 구조를 본뜬 저전력 반도체인 '뉴로모픽 반도체', 환경에 적응해야 하는 '로봇 AI', 기기 내부에서 작동하는 '온디바이스 AI' 등에 활용될 수 있을 것으로 기대된다.

이상완 교수는 "뇌의 구조를 단순히 모방한 것이 아니라 뇌의 학습 원리 자체를 AI가 따르도록 만든 것이 핵심"이라며 "뇌처럼 효율적으로 배우는 인공지능의 가능성을 열었다"고 말했다.