4단계 개요와 선택적 가중치 전이

학습이 4단계로 어떻게 진행되는지, 그리고 선배 모델에게서 무엇을 얼마나 물려받았는지 살펴봅니다

Solar Open 2 기술 보고서 3장 기반 · 초심자를 위한 쉬운 해설 + 원문 수치

→ 다음 (방향키 또는 화살표 클릭)

큰 그림

학습은 4단계로 진행됩니다

1단계

1세대의 핵심만 재사용

2단계

10조 토큰으로 폭넓게 학습

3단계

품질 좋은 1조 토큰만 재학습

4단계

1M 토큰 확장 + 체크포인트 합치기

1단계

물려받은 지식 비율

0배

학습 효율 개선

💡

쉽게 말하면

이사할 때 중요한 가구만 챙기고, 새 집 구조에 안 맞는 건 새로 사는 것과 같아요.

1단계 · 상세

전이된 파라미터는 총 5.69B — 250B 전체의 2.3%, 1세대(102B) 대비로는 5.6%에 해당해요
동일한 모양을 가진 부품(임베딩, 정규화, 소프트맥스 어텐션, 공유 전문가)은 그대로 전이하고, 모양이 다르거나 아예 새로 생긴 부품은 무작위로 초기화합니다

구성요소별 전이 여부 (원문 표 2)

구성요소	모양 관계	파라미터	처리
토큰 임베딩/출력층	동일	1.61B	✓ 전이
정규화 층	동일	<0.01B	✓ 전이
소프트맥스 어텐션 q/k/v/o (12개 층)	동일 (GQA 기하 유지)	0.91B	✓ 전이
소프트맥스 어텐션 시그모이드 게이트	신규 부품	<0.01B	✗ 무작위 초기화
선형 어텐션 q/o (36개 층)	신규, GQA q/o에서 재매핑	2.42B	✓ 전이
선형 어텐션 k/v·decay/write 게이트·컨볼루션	신규 부품, 대응 없음	≈2.5B	✗ 무작위 초기화
MoE 공유 전문가 (48개 층)	동일	0.75B	✓ 전이
MoE 라우팅 전문가(×320)+라우터	128→320, 1:1 매핑 불가	≈241.7B	✗ 무작위 초기화

무작위 초기화된 부분(약 244.3B) 중 대부분(241.7B)이 라우팅 전문가입니다 — 즉 '전문가 팀'은 새로 뽑고, 나머지 뼈대는 그대로 물려받은 셈입니다.

비교 관점

선배 모델의 가중치를 재사용하는 기존 방식은 보통 셋 중 하나예요 — 같은 구조를 유지한 채 모델을 키우거나, 밀집 모델을 MoE로 '업사이클링'(전문가 여러 명을 복제해서 새로 붙이는 방식)하거나, 증류(덩치 큰 스승 모델의 출력을 흉내 내며 배우는 방식)를 통해 소프트맥스 어텐션을 선형/순환 구조로 바꾸는 방식입니다
Solar Open 2는 다릅니다 — 하이브리드 어텐션 추가, NoPE 도입, 전문가 확장까지 구조 자체를 바꾸면서, 동시에 증류 과정 없이 가중치를 직접 전이했어요
구조 전환에 따른 부담은 이후 이어지는 전체 사전학습 과정을 통해 흡수시켰습니다
참고로(단정적 주장은 아니지만) 보고서에 따르면, 저자들이 아는 한 최근의 다른 대형 하이브리드 모델들(Kimi Linear, Qwen3.5, MiniMax)은 모두 처음부터 새로 학습했고, Solar Open 2처럼 구조 변경과 직접 가중치 전이를 함께 시도한 사례는 없었다고 해요