새 벤치마크가 나왔다 — GPT-6 Astra 49.2% vs Claude Opus 5 28.8%, 왜 이렇게 차이 나나

AI 코딩 성능을 측정하는 벤치마크가 또 하나 나왔다. 이번엔 Microsoft Research와 KAIST가 공동으로 만든 ProgramDistill이다.

결과가 흥미롭다. GPT-6 Astra 49.2%, Claude Opus 5 28.8%. 두 모델 사이에 20%p 이상 차이가 난다. 지금까지 SWE-bench나 Terminal-Bench에서 두 모델이 비슷한 성능을 보여왔던 것과 다른 그림이다.

왜 이 벤치마크에서만 이렇게 차이가 날까. 그 이유가 벤치마크 자체가 무엇을 측정하는지를 이해하는 데 있다.

ProgramDistill이 기존 벤치마크와 다른 점

SWE-bench는 실제 GitHub 이슈를 해결하는 능력을 측정한다. 코드 수정 → 테스트 통과 여부가 기준이다. Terminal-Bench는 터미널 기반 장기 작업 에이전트 능력을 잰다.

ProgramDistill은 다른 걸 측정한다. 실제 웹 앱 전체를 처음부터 끝까지 구축하는 능력이다. 4,063개의 소프트웨어 작업, 26개 웹 앱, 1,975개의 리플레이 검증 행동을 기반으로 만들어졌다.

단일 파일 수정이나 버그 패치가 아니다. 여러 파일에 걸친 풀스택 앱 구축을 요구한다. 데이터베이스 스키마, 백엔드 API, 프론트엔드 컴포넌트, 테스트 코드가 모두 일관성 있게 연결돼야 한다.

평가 방식도 다르다. "누적 풀 앱 워크플로우(cumulative full-app workflows)"라는 지표를 쓴다. 부분적으로 맞는 것에 점수를 주는 게 아니라, 전체 흐름이 처음부터 끝까지 작동해야 점수가 나온다.

왜 GPT-6 Astra가 이 벤치마크에서 앞서나

Claude Opus 5가 Real-SWE-bench에서 GPT-6 Astra보다 높은 점수를 받는다는 건 알려진 사실이다. 그런데 ProgramDistill에서는 Astra가 거의 두 배 앞선다.

몇 가지 설명이 가능하다.

하나는 Astra의 컨텍스트 윈도우 활용 방식이다. Astra는 105만 토큰 컨텍스트에서 긴 코드 컨텍스트를 유지하는 데 최적화됐다는 평가가 있다. 풀스택 앱을 만들 때는 여러 파일의 상태를 동시에 추적해야 한다. 이 "다중 파일 추적" 능력에서 Astra가 우위를 보인다는 것이다.

다른 하나는 도구 사용 패턴이다. Astra는 컴퓨터 사용(Computer Use) 기능과 도구 통합에 집중한 모델이다. ProgramDistill이 측정하는 "웹 앱 구축" 시나리오는 코드 작성뿐만 아니라 파일 생성, 터미널 실행, 결과 검증 같은 도구 사용 능력도 필요하다. 이 영역에서 Astra가 Opus 5보다 강할 수 있다.

Claude Opus 5가 앞서는 SWE-bench는 반대 특성이 있다. 단일 버그 수정, 명확한 요구사항, 제한된 파일 범위에서 강하다.

어떤 벤치마크를 봐야 하나

모든 벤치마크는 특정 능력을 측정한다. "이 모델이 더 낫다"는 주장은 언제나 "어떤 작업에서"라는 조건이 붙어야 한다.

단일 파일 코드 수정, 버그 패치, 알고리즘 구현 → Claude 계열이 강한 영역 복잡한 풀스택 앱 구축, 다중 파일 일관성, 도구 통합 → Astra가 강한 영역

실제 업무에 AI 코딩 도구를 고르는 사람이라면 자신이 어떤 작업을 주로 하는지가 기준이 된다. 매일 새 기능을 처음부터 만드는 개발자와, 기존 코드베이스의 버그를 고치는 개발자에게 최적의 모델이 다를 수 있다.

벤치마크 하나로 모델을 선택하는 건 위험하다. 여러 벤치마크를 함께 보고, 자신의 실제 작업에 가장 비슷한 유형의 평가를 기준으로 삼아야 한다.

한눈에 보기 — 핵심 요약