ARC-AGI-3가 처음으로 100% 달성됐다 — Memento 3가 보여준 것의 의미

벤치마크는 측정 방식이 바뀔 때마다 새로운 이야기가 시작된다.

ARC-AGI는 AI가 인간 수준의 일반 추론을 하는지를 측정하는 벤치마크다. 패턴 인식이 아니라 규칙을 처음 보는 문제에 적용하는 능력을 테스트한다. 훈련 데이터에서 본 적 없는 추론을 해야 하기 때문에 기존 LLM이 쉽게 뚫기 어렵다는 평가를 받았다.

ARC-AGI-3는 그 시리즈의 세 번째 버전이다. 2024년 이후 각 버전마다 난이도가 높아졌고, AI 모델들이 점수를 올리면 문제가 다시 어려워지는 패턴이 반복됐다.

10월 초, UCL과 Huawei Noah's Ark Lab이 공동 개발한 Memento 3가 ARC-AGI-3의 25개 공개 게임에서 평균 RHAE 100.0을 기록했다. 완전한 점수다.

Memento 3의 방식이 다른 이유

결과보다 방법이 더 흥미롭다.

Memento 3는 LLM 백본을 동결했다. 문제를 풀면서 언어 모델 자체를 업데이트하지 않는다는 뜻이다. 학습이 이뤄지는 건 자연어 규칙집(natural-language rulebook)이다. 각 게임에서 관찰한 패턴을 자연어로 정리하고, 그 규칙집을 참고해서 다음 문제에 적용한다.

이 접근 방식의 의미가 있다. 기존 AI가 ARC-AGI를 풀 때 주로 쓰는 방법은 "많은 추론 예산을 써서 가능한 답을 탐색"하는 것이다. 컴퓨팅을 더 많이 쓰면 점수가 올라가지만, 그게 진짜 추론인지는 논란이 있었다.

Memento 3는 다르다. 언어 모델 자체를 바꾸지 않고, 관찰에서 규칙을 추출하고 그 규칙을 적용한다. 사람이 새로운 게임을 배울 때 하는 것과 더 비슷한 방식이다.

RHAE 100.0이 의미하는 것

RHAE(Reward over Human-normalized Average Episode)는 ARC-AGI-3가 쓰는 지표다. 인간 성능을 기준으로 정규화한 점수다. 100.0은 인간 평균과 동일한 수준이라는 뜻이다.

단, 이게 "AI가 인간보다 뛰어나다"는 말은 아니다. 평균과 같다는 것이고, 인간 중에서도 이 게임을 잘하는 사람은 100 이상의 점수를 낸다.

무엇보다 이건 공개된 25개 게임에서의 결과다. 비공개 테스트셋이나 새로운 유형의 문제에서 같은 성능이 나올지는 별개다.

ARC-AGI 달성이 반복되는 패턴

2024년에 ARC-AGI-1이 나왔을 때 "AI가 곧 달성할 수 없을 것"이라는 예측이 많았다. 그 해에 여러 팀이 높은 점수를 냈고, 문제가 어려워진 ARC-AGI-2가 나왔다. 2025년에도 비슷한 사이클이 반복됐다.

ARC-AGI-3이 달성된 지금, 다음은 무엇인가라는 질문이 나온다. ARC Prize 재단이 ARC-AGI-4를 준비하고 있다는 정보가 있다. 벤치마크와 AI 모델 사이의 이 추격전은 당분간 계속될 가능성이 높다.

이 과정이 무의미한 게 아니다. 벤치마크 개발 과정에서 AI의 실제 추론 능력이 어디에 있는지를 더 잘 이해하게 된다. Memento 3의 자연어 규칙집 접근은 그 과정에서 나온 의미 있는 방법론이다.

ARC-AGI 100% 달성이 AGI의 도래를 의미하는 건 아니다. 하지만 우리가 AI 능력을 측정하는 기준이 계속 이동하고 있다는 것만은 분명하다.

한눈에 보기 — 핵심 요약