학습 효율 실험과 데이터 큐레이션

기억을 물려받으면 왜 더 빨리 배우는지 실험으로 확인하고, 좋은 재료만 골라 쓰는 방법을 알아봅니다

Solar Open 2 기술 보고서 3장 기반 · 초심자를 위한 쉬운 해설 + 원문 수치

→ 다음 (방향키 또는 화살표 클릭)

1단계 · 검증 실험

왜 물려받으면 더 빨리 배울까 — 실험으로 증명

200B-A15B 규모의 축소판(프록시) 모델로, 아키텍처·데이터·옵티마이저(가중치를 조금씩 조정해 나가는 학습 알고리즘)는 완전히 동일하게 두고 초기화 방식만 다르게 실험했어요
학습 손실(loss) 1.8에 도달하기까지, 물려받지 않으면 21.5B 토큰이 필요했지만 물려받으면 12.6B 토큰만으로 충분했습니다 (약 1.7배, 58% 토큰만 사용)
이 이득은 구간마다 달라요 — 비교적 쉬운 손실 수준 2.6에서는 약 1.15배에 그치지만, 더 어려운 손실 수준 1.8에서는 1.7배까지 커집니다 — 모델이 정교해질수록 '물려받은 지식'의 효과가 누적되는 거예요

물려받지 않음

21.5B 토큰

물려받음 (Solar Open 2 방식)

12.6B 토큰

💡

쉽게 말하면

기초를 배울 땐 독학이나 과외나 큰 차이가 없지만, 심화 내용으로 갈수록 미리 아는 게 많은 쪽이 훨씬 빨리 따라잡는 것과 같아요.

2~3단계

원재료 풀

20조

엄선 후 (2단계)

10조

고품질 재학습 (3단계)

1조

💡

쉽게 말하면

같은 예산이라도 신선한 재료로 요리하면 훨씬 맛있는 것처럼, 학습도 '양'보다 '질'이 성과를 갈랐어요.

2단계 · 상세

20조 토큰 풀에 두 겹의 중복 제거를 적용했어요 — 완전히 똑같은 문서를 지우는 '정확 중복 제거'와, 표현만 다르고 내용은 같은 문서를 잡아내는 '의미 중복 제거'입니다
의미 중복 제거에는 SemDeDup(Abbas et al., 2023)이라는 기법을 사용했는데, 바이트 단위로는 다르지만 살짝 표현만 바꿔 쓴 기사처럼 사실상 같은 내용인 문서를 걸러낼 수 있어요
여기에 데이터셋별 품질 점수와 출처·유형별 희귀도 추적, 그리고 도메인/언어/출처 기준의 분류 체계까지 더해 20조 토큰을 10조 토큰으로 정제했습니다

💡

쉽게 말하면

똑같이 복사된 글은 물론, 살짝 바꿔 쓴 '재탕' 글까지 걸러내는 두 겹의 필터를 거친 셈이에요.

2~3단계 · 검증 실험

10B 규모 MoE 모델에, 동일한 300B 토큰 학습 예산을 주고 1세대의 옛 데이터 레시피와 2세대의 새 레시피(실제:합성 4:6, 수학≥15%, 코드≥15%, 영어>80%)를 비교했어요
결과는 명확했습니다 — 모든 벤치마크 그룹에서 새 레시피가 더 좋았고, 특히 코드·수학에서 향상 폭이 컸습니다
가장 크게 개선된 순서: 영어 코드(+0.216) > 한국어 수학(+0.204) > 영어 수학(+0.146)

영어 코드 (en_code)

+0.216

한국어 수학 (ko_math)

+0.204

영어 수학 (en_math)

+0.146

💡

쉽게 말하면

같은 예산(300B 토큰)으로도 레시피만 바꿨더니 코드·수학 실력이 눈에 띄게 좋아졌어요.