MoE와 세대 비교

MoE — 만물박사 대신 전문의 팀

• 기존 방식(Dense, 질문마다 모델 전체를 다 사용하는 방식): 모든 질문을 만물박사 한 명이 전부 처리 → 느리고 비효율적
• MoE(Mixture-of-Experts, 여러 전문가 모델을 묶어두고 필요한 몇 명만 골라 쓰는 구조) 방식: 접수처(라우터)가 질문을 보고 딱 맞는 전문의 몇 명만 호출
• Solar Open 2는 320명의 '전문의' 중 매번 8명만 골라 답을 만듭니다

전문가 팀의 세부 설계

• MoE 블록의 중간 크기는 1,280, 활성화 함수는 SiLU(신호의 세기를 부드럽게 조절해 다음 층으로 넘겨주는 계산 함수) — 둘 다 1세대와 완전히 동일합니다
• 이렇게 동일하게 맞춘 덕분에 '공유 골격'을 그대로 물려받을 수 있었어요
• 전체 골격에는 일반 Dense 층이 하나도 없이, 모든 층이 MoE 기반으로 구성됩니다
• 층과 층 사이 연결에는 Pre-norm 잔차 연결(각 층에 들어가기 전에 값을 고르게 정돈하고, 원래 입력을 다시 더해줘 정보가 사라지지 않게 하는 안정화 기법) 방식을 사용합니다

1세대에서 2세대, 무엇이 커졌나

💡 골격이 같아서 1세대가 배운 내용을 2세대가 그대로 이어받을 수 있었습니다 (3강에서 자세히)

실제 시험 결과는?

'진짜 업무 대행' 능력(Ko-GDPval)은 3.4점 → 86.8점, 사실상 새로 태어난 수준입니다.

벤치마크 용어 사전 — 시험 이름이 뜻하는 것

• MMLU-Pro — 57개 분야를 아우르는 대학 수준 지식·추론 객관식 시험 (기존 MMLU의 고난도 버전)
• GPQA-Diamond / HLE — 박사급 전문가도 어려워하는 최고난도 과학·종합 문제 모음
• LiveCodeBench — 매번 새 문제로 갱신되는 코딩 시험 (암기로 풀 수 없음)
• SWE-Bench / Terminal Bench — 실제 오픈소스 버그 수정, 터미널(명령줄) 작업을 그대로 재현한 시험
• APEX-Agents / MCP-Atlas / τ(tau)-bench — AI 에이전트가 여러 도구를 연결해 실제 업무를 처리하는 능력 시험
• IFBench / MultiChallenge — 지시사항을 정확히 따르는지, 긴 대화를 잘 이어가는지 보는 시험
• AIME / HMMT — 미국 수학경시대회 문제로 수리 추론력을 재는 시험
• GDPval(-AA) — 보고서 작성 등 실제 경제적 가치를 지닌 업무를 얼마나 잘 대행하는지 평가