평가 방법과 영어 성적

무엇을, 어떻게 평가했나

• 영어 평가 스위트는 3개 그룹 — 지식&추론 · 지시따르기&긴컨텍스트 · 에이전트
• 한국어 평가 스위트는 5개 그룹 — 일반지식 · 언어&문화 · 수학적 추론 · 전문 도메인 · 사무업무 에이전트
• 비교 대상(영어)은 총 파라미터 320B 이하의 강력한 오픈웨이트 모델들: DeepSeek-V4-Flash(284B-A13B), MiMo-V2.5(310B-A15B), Command A+(218B-A25B), Mistral Medium 3.5(128B 밀집형), 그리고 전작 Solar Open 1(102B-A12B)
• 한국어 스위트에는 여기에 더해 Claude Haiku 4.5와 GPT-5.4 mini — 빠른 등급의 폐쇄형 API도 함께 비교합니다

벤치마크 용어 사전 — 시험 이름이 뜻하는 것

• MMLU-Pro — 57개 분야를 아우르는 대학 수준 지식·추론 객관식 시험 (기존 MMLU의 고난도 버전)
• GPQA-Diamond / HLE — 박사급 전문가도 어려워하는 최고난도 과학·종합 문제 모음
• LiveCodeBench — 매번 새 문제로 갱신되는 코딩 시험 (암기로 풀 수 없음)
• SWE-Bench / Terminal Bench — 실제 오픈소스 버그 수정, 터미널(명령줄) 작업을 그대로 재현한 시험
• APEX-Agents / MCP-Atlas / τ(tau)-bench — AI 에이전트가 여러 도구를 연결해 실제 업무를 처리하는 능력 시험
• IFBench / MultiChallenge — 지시사항을 정확히 따르는지, 긴 대화를 잘 이어가는지 보는 시험
• AA-LCR — 아주 긴 문서·대화 맥락을 끝까지 놓치지 않고 정확히 추론하는지 재는 시험
• AIME / HMMT — 미국 수학경시대회 문제로 수리 추론력을 재는 시험
• KMMLU-Pro / CLIcK / HAE-RAE — 한국어판 지식 시험, 한국 언어·문화 이해도 시험
• Ko-AIME / HRM8K — 한국어로 치르는 수학 추론 시험
• KBank-MMLU / KBL / KorMedMCQA — 금융·법률·의료 등 한국 전문 분야 지식 시험
• GDPval(-AA) / Ko-GDPval — 보고서 작성 등 실제 경제적 가치를 지닌 업무를 얼마나 잘 대행하는지 평가 (Ko-GDPval은 이번 강의에서 뒤에 자세히 다룹니다)

전체 영어 성적표

ELO는 체스 랭킹 산정 방식처럼, 두 모델의 산출물을 사람이 짝지어 비교한 승패를 누적해 매기는 상대 실력 점수입니다 — 숫자가 클수록 더 자주 이겼다는 뜻입니다.

영어권 성적, 핵심만 짚으면

• ArtifactsBench(55.9)는 두 프론티어 모델(59.3, 61.0)이 여전히 앞서는 몇 안 되는 지식형 벤치마크입니다
• 남은 격차는 저장소·터미널 단위 코딩 — SWE-Bench Verified 70.4 vs 73.0~73.8, Terminal Bench Hard는 28.3으로 MiMo의 41.7에 뒤처집니다
• Solar Open 1 대비 세대 도약이 가장 큰 곳은 에이전트 실행력(SWE-Bench Verified 15.4→70.4, MCP-Atlas 34.4→58.2, APEX-Agents 2.4→16.6)과 프론티어급 추론(GPQA-Diamond 66.2→86.3, HLE 11.5→28.8)입니다

1세대 대비 가장 크게 뛴 영역

• 가장 큰 세대 도약은 두 영역에 몰려 있습니다 — 에이전트 실행력: SWE-Bench Verified 15.4→70.4, MCP-Atlas 34.4→58.2, APEX-Agents 2.4→16.6
• 프론티어급 추론: GPQA-Diamond 66.2→86.3, HLE 11.5→28.8, HMMT2602 68.9→93.9
• 즉 모든 영역이 골고루 조금씩 좋아진 게 아니라, 2~4강에서 다룬 아키텍처·학습 변화가 정확히 겨냥했던 지점에서 개선폭이 집중적으로 나타났습니다