한국어 성적과 Ko-GDPval

한국어 성적표를 확인하고, 실전 업무 능력을 재는 Ko-GDPval을 알아봅니다

Solar Open 2 기술 보고서 5장·6장 기반 · 초심자를 위한 쉬운 해설 + 원문 수치

→ 다음 (방향키 또는 화살표 클릭)

원문 표 4

전체 한국어 성적표

Benchmark	Solar Open 2	Solar Open 1	MiMo-V2.5	DeepSeek-V4-Flash	Claude Haiku 4.5	GPT-5.4 mini
KMMLU-Pro	78.4	64.0	69.1	78.9	67.9	78.1
CLIcK	90.7	78.9	78.4	89.2	53.5	89.6
HAE-RAE v1.1	73.8	73.3	61.7	73.1	38.5	69.4
Ko-AIME'25	97.7	80.0	88.0	98.0	81.7	90.7
HRM8K	92.2	87.6	90.7	93.4	90.6	91.3
KBank-MMLU	80.8	65.5	71.0	79.5	68.9	79.0
KBL	75.5	65.5	69.8	72.8	69.9	75.3
KorMedMCQA	93.0	84.4	87.7	94.1	87.0	94.2
Ko-GDPval	86.8	3.4	81.0	85.0	68.3	59.4
Avg.	85.4	67.0	77.5	84.9	69.6	80.8

한국어 성적

6개 모델 중 압도적 1위

85.4

6개 모델 중 평균 최고점 — DeepSeek-V4-Flash(84.9), GPT-5.4 mini(80.8), Claude Haiku 4.5(69.6) 앞섬

+18.4

Solar Open 1(67.0) 대비 세대 개선폭

1위

CLIcK(90.7, 언어&문화) · KBank-MMLU(80.8) · KBL(75.5), 전문 도메인 3개 중 2개 1위

블라인드 정성 평가(어느 모델의 답변인지 가린 채 사람이 채점) (Figure 12) — Solar Open 2 vs DeepSeek-V4-Flash, 한국어 대화 835턴

선호율 · Solar Open 2

44.1%

선호율 · DeepSeek-V4-Flash

26.6%

결정적 승리(상대 오답/붕괴) · Solar Open 2

21.2%

결정적 승리 · DeepSeek-V4-Flash

8.5%

가장 큰 격차는 정렬(alignment)·정직성·안전성 영역에서 나타났습니다 — 예를 들어 한국 사회에서 의견이 갈리는 이슈에 어느 쪽을 단정할지, 어디까지 신중하게 말을 아낄지처럼 문화적 맥락에 대한 판단력이 요구되는 질문들입니다.

전문 도메인 벤치마크

Ko-GDPval이란?

업스테이지가 자체 구축한 한국형 사무업무 에이전트 벤치마크로, GDPval의 "경제적으로 가치 있는 실제 업무" 패러다임을 계승합니다
한국의 산업·법률·비즈니스 현실에 뿌리를 둔 170개 과제, 전부 한국어로 구성되며 11개 산업 도메인에 걸쳐 있습니다
각 과제는 58개 실제 직업(변호사, 공인회계사, 감염관리 전문가, 프로젝트 파이낸싱 심사역 등) 중 하나에서 뽑혀, 실제 법령·계산식·업무 절차를 반영합니다

원문 표 5

Ko-GDPval 전체 순위표

Model	규모	점수	Data	Content Structure	Quality	Value Format	Constraint	File Format
DeepSeek-V4-Pro	1.6T	86.9	82.1	90.5	96.6	84.2	81.0	99.4
Solar Open 2	250B	86.8	83.5	89.1	96.5	79.2	82.0	99.8
DeepSeek-V4-Flash	284B	85.0	81.0	87.6	95.9	78.2	78.3	100.0
MiMo-V2.5-Pro	1T	84.6	80.6	87.7	95.2	75.8	78.5	99.2
MiMo-V2.5	310B	81.0	76.2	84.0	93.4	72.6	73.1	97.9
Claude Haiku 4.5	closed	68.3	60.6	71.3	88.6	56.2	59.7	99.8
GPT-5.4 mini	closed	59.4	54.4	54.6	85.7	36.8	43.7	97.5

Solar Open 2는 DeepSeek-V4-Pro(1.6T, 자신보다 6배 이상 큰 모델)에 근소하게 뒤처지며, 그 외 모든 모델을 앞섭니다. 세부적으로는 Data·Constraint·File Format에서 DeepSeek-V4-Pro보다도 앞서고, Value Format 항목(79.2 vs 84.2)에서 가장 큰 격차가 있습니다 — 숫자·서식 정밀도가 향후 과제임을 시사합니다.

채점 기준 뜯어보기

6가지 채점 기준이 보는 것

Data — 사용한 사실·수치가 정확하고 출처가 확실한가
Content Structure — 실제 산출물이라면 갖춰야 할 구성과 순서(챕터·섹션 배치)를 갖췄는가
Quality — 글쓰기와 논리 전개 전반의 완성도와 정확성
Value Format — 숫자·단위·표·통화·소수점 자릿수 같은 서식 요구사항을 정확히 채워 넣었는가
Constraint — 과제 지시문에 명시된 모든 요구사항을 빠짐없이 지켰는가
File Format — 실제 산출 파일(xlsx·docx·pptx·pdf 등)이 정상적으로 열리고 요청한 형식과 일치하는가

Solar Open 2가 가장 약한 항목인 Value Format이 바로 이 숫자·서식 정밀도를 재는 기준입니다 — 앞서 살펴본 "향후 과제"와 정확히 같은 지점입니다.

다음 세부강의: 실전 사례와 결론 →