1 / 1

3-3

Solar Open 2 완전정복 · 3강 / 5강 · 3-3 / 3

길이 확장과 체크포인트 병합

긴 글을 읽는 연습을 시키고, 여러 체크포인트를 합쳐 마지막 단계의 부작용을 해결하는 과정을 정리합니다

Solar Open 2 기술 보고서 3장 기반 · 초심자를 위한 쉬운 해설 + 원문 수치

→ 다음 (방향키 또는 화살표 클릭)

4단계

긴 글 읽는 연습 + 실전 감각 주입

이제 1M 토큰 분량의 긴 문서(레포지토리, 즉 코드 저장소 전체 등)로 훈련량을 늘립니다
동시에 추론·에이전트(실무 작업) 데이터를 섞어 실전 감각을 더합니다
그런데 이 단계에서 오히려 성능이 잠깐 떨어지는 부작용이 있었습니다

문제 해결

체크포인트 병합 — 여러 초안의 장점만 합치기

4단계 도중 저장된 4개의 서로 다른 버전(체크포인트)을 하나로 평균 냈어요
각 버전이 잘하는 부분들이 합쳐지면서, 어느 한 버전보다도 더 좋은 결과가 나왔습니다
50개 이상의 PLM(사전학습 언어모델) 평가 지표를 기준으로 병합 효과를 검증했습니다
최종 점수 0.745로, 프로젝트 전체를 통틀어 가장 높은 기록을 세웠습니다

💡

쉽게 말하면

여러 명이 쓴 초안에서 가장 잘 쓴 문단만 골라 짜깁기해 완성본을 만드는 것과 비슷해요.

더 넓게 보기

모델 병합, 왜 요즘 주목받나

학습 경로(최적화 지형)가 서로 달랐던 여러 체크포인트를 평균 내면, 어느 한 체크포인트보다 더 넓고 안정적인 해(solution) 영역에 도달하는 경향이 있어요
이렇게 하면 하나의 체크포인트가 좁은 지역 최적점(더 나아질 여지가 있는데도 근처가 최선이라 착각하고 멈추는 함정)에 갇힐 위험을 줄일 수 있습니다
모델 병합은 최근 딥러닝 연구에서 점점 주목받는 기법인데, Solar Open 2는 이를 '사후 트릭'이 아니라 사전학습 파이프라인에 체계적으로 통합한 사례예요

정리

3강 핵심 정리

✓4단계 학습: 물려받기 → 기초 다지기 → 엄선 재학습 → 길이 확장
✓선배 지식의 2.3%만 물려받아도 학습 속도가 1.7배 빨라졌다
✓20조 → 10조 토큰으로 '양보다 질' 전략을 택했다
✓마지막 단계의 부작용은 여러 체크포인트를 합쳐 해결했다

다음 강의

4강 예고: 이렇게 기초를 다진 모델에게, 실제 업무를 시키기 위한 훈련(사후학습)이 이어집니다.

← 전체 목차 4강. 사후학습 →