완전 비동기 RL 상세와 MOPD

기다림 없는 학습을 지탱하는 5가지 기술과, 12명의 전문가를 한 모델로 합치는 MOPD의 시스템 엔지니어링을 파헤칩니다

Solar Open 2 기술 보고서 기반 · 초심자를 위한 쉬운 해설

→ 다음 (방향키 또는 화살표 클릭)

완전 비동기 RL — 5가지 장치

기다림 없는 학습을 지탱하는 5가지 기술

① 분리형 아키텍처(즉시 가중치 업데이트): 훈련 담당(trainer)과 답안 생성 담당(actor, 롤아웃 엔진)이 서로 다른 GPU 묶음에서 각각 돌아갑니다. actor는 멈추지 않고 계속 답안을 생성하다가, 충분한 궤적이 쌓이면 그 배치를 정책 업데이트를 위해 넘깁니다
② 신선도 기준(fresh-token-fraction gate): 모든 토큰에 "어느 시점의 정책이 이걸 만들었는지" 꼬리표를 붙입니다. 이 중 충분히 최신인(신선한) 토큰의 비율이 기준을 넘는 궤적만 사용하고, 그 안에 남은 낡은 토큰은 손실 계산에서 마스킹(제외) 처리합니다
③ 길이/신선도 인식 배치 샘플링: 궤적을 대량으로 미리 생성해 길이별 구간(bin)으로 정렬해두고, 매 학습 스텝마다 구간마다 하나씩 뽑아 배치를 구성합니다. 짧은 궤적에만 치우치는 편향을 막고, 같은 구간 안에서는 가장 낡은 궤적부터 우선 사용합니다

완전 비동기 RL — 5가지 장치 (이어서)

나머지 두 가지 장치와 실제 효과

④ 직접 양면 중요도 샘플링: 토큰 하나하나마다 중요도 비율(현재 정책과 생성 당시 정책의 차이)을 직접 계산해, 허용 범위를 벗어난 토큰은 깎아내는(클리핑) 게 아니라 통째로 그래디언트 계산에서 제외합니다. GSPO(다른 강화학습 알고리즘 중 하나)처럼 문장 단위가 아니라 토큰 단위로 처리하는 이유는, 하나의 궤적 안에서도 토큰마다 서로 다른 정책 버전에서 만들어졌을 수 있기 때문입니다 (역시 다른 강화학습 알고리즘인 GRPO와 같은 결)
⑤ 환경 실패 필터링과 그룹 크기 복구: 모델의 잘못이 아니라 환경·인프라 문제로 실패한 궤적은 걸러내 잡음 섞인 부정 보상이 섞이지 않게 합니다. 필터링 후에도 그룹의 절반이 넘는 롤아웃이 남아있으면 복제해 그룹 크기를 복구하고, 그렇지 못하면 그룹 전체를 폐기합니다

동기식 (기존)

완전 비동기 (Solar Open 2)

동기식은 가장 느린 작업 하나 때문에 전체가 멈춰 기다립니다. 비동기식은 끝나는 대로 바로 다음 라운드로 넘어갑니다.

통합의 기술

MOPD — 12명의 전문가를 한 명으로

12개 분야 전문가를 하나의 모델로 합치되, 각자의 실력은 그대로 유지해야 했어요
학생 모델이 스스로 답을 만들어보면, 해당 분야 전문가가 옆에서 코치하며 방향을 잡아줍니다
정답을 억지로 외우게 하지 않고 '스스로 풀어보고 피드백 받기' 방식이라 훨씬 효율적이었습니다

12명의 전문가

각 분야 전문가의 노하우가 학생 모델 1개로 압축됩니다

💡

쉽게 말하면

12과목 과외 선생님의 노하우를 한 학생이 실전 문제를 풀어가며 배우는 것과 비슷해요.

왜 MOPD인가

왜 그냥 정답을 외우게 하지 않았나

가장 손쉬운 대안은 그냥 SFT였을 겁니다: 교사 모델들이 만든 정답 트레이스를 학생에게 그대로 외우게 하는 방식이죠
문제는 이 방식이 오프-폴리시(off-policy, 학생이 실전에서 겪는 상황과 학습에 쓰인 데이터가 점점 어긋나는 것)라는 점: 학생 자신의 샘플링이 교사와 어긋나기 시작하면, 학생이 실제로 흘러들어가는 그 상태들에 대해서는 아무런 지도를 받지 못합니다 — 이 어긋남은 12개 분야를 동시에 감당해야 하는 하나의 통합 모델에서 가장 심각해집니다
MOPD는 대신 대화형 모방학습(interactive imitation learning)의 계보를 따릅니다 (DAgger, Ross et al. 2011) — 학생이 스스로 자신의 궤적을 생성하고, 라우팅된 교사는 바로 그 학생이 실제로 만들어낸 토큰들을 채점합니다
이렇게 학생이 실제로 방문한 상태를 기준으로 교사 쪽으로 끌어당기기 때문에, 희소한 결과 보상만으로 학습하는 것보다 훨씬 샘플 효율적입니다

💡

쉽게 말하면

모범답안을 통째로 외우게 하면, 시험에서 조금만 다른 문제가 나와도 당황합니다. 그 대신 학생이 직접 문제를 풀어보게 하고, 그 답안을 바로 그 자리에서 선생님이 첨삭해주는 방식이 훨씬 실전에 강해요.

MOPD를 250B까지 — 시스템 엔지니어링 4대 난관 (1/2)

아이디어는 쉬운데, 실제로 돌리는 게 어려웠다

MOPD의 핵심 아이디어: 학생이 스스로 궤적(답안)을 만들면, 라우팅된 해당 분야 전문가 교사가 바로 그 토큰들을 채점합니다. 별도의 보상 항 없이 오직 KL 발산 손실 하나로만 교사 쪽으로 끌어당겨지는데, 이 손실은 매 위치마다 전체 어휘에 대해 정확히 계산됩니다 — 그래서 희소 보상만 쓰는 RL보다 훨씬 샘플 효율적이고, 롤아웃 1회면 충분합니다
① 교사 배치 비용: 교사와 학생을 같은 GPU에 함께 두면(colocate) 교사의 순전파(forward pass)가 훈련의 critical path(전체 진행 속도를 좌우하는 병목 경로)에 그대로 직렬로 끼어들어 버립니다 → 교사 풀 전용 노드를 따로 배정해 해결했습니다
② [L×V] 크기 폭발: 모든 응답 위치마다 196,608개 토큰 어휘 전체에 대한 교사의 확률분포를 보내면, fp32 기준 마이크로배치당 약 26GB가 필요합니다 → 교사는 최종층 직전의 은닉 상태 [L×H](H=4,096, 어휘 크기보다 48배 작음)만 전송하고, 학생이 1,024토큰 타일 단위로 재구성합니다 (피크 GPU 메모리 약 1.1GB)

26GB → 1.1GB

[L×V] 확률분포 대신 은닉상태 전송 시 마이크로배치당 메모리

48배

어휘 크기(196,608) 대비 히든 크기(4,096)의 축소 비율

MOPD를 250B까지 — 시스템 엔지니어링 4대 난관 (2/2)

전송과 교사 풀 관리도 발목을 잡았다

③ 전송 비용: 훈련 샘플 하나는 정확히 하나의 교사에만 라우팅되므로, 교사가 12개 있어도 총 교사 연산량은 배치 크기에만 비례(O(batch))합니다. context-parallel(긴 입력을 여러 GPU가 나눠 맡는 훈련 방식) 훈련에서도 정확히 일치하는 샤드(나눠진 데이터 조각)만 전송하면 되므로 비싼 all-gather(모든 조각을 전부 모으는 통신 연산)가 필요 없습니다
④ 교사 풀 관리: 250B 파라미터짜리 교사 모델 12개를 한꺼번에 가속기에 올릴 수 없습니다 → GPU에는 교사 1개만 상주시키고 12개 전부를 CPU에 파라미터 스냅샷으로 보관하다가, 필요한 순간 그중 하나를 GPU 슬롯에 즉시 교체 투입(hot-swap)합니다. 마이크로배치도 어떤 교사가 필요한지 기준으로 묶어서 교체 빈도 자체를 줄입니다

O(batch)

교사가 12개여도 총 교사 연산량은 배치 크기에만 비례

1개 GPU + 12개 CPU

GPU 상주 교사 1개, 나머지는 CPU 스냅샷으로 hot-swap

정리

4강 핵심 정리

✓사후학습 4단계: 기본기 → 강화학습 → 12전문가 육성 → MOPD 통합
✓에이전트 3형제(일상·코딩·사무업무)로 실전 능력을 키운다
✓일상 대화 에이전트는 '검증자 먼저 만들기'로 데이터 부족 문제를 해결한다
✓코딩 에이전트는 SWE·터미널·아티팩트 세 시나리오로 단련된다
✓사무업무 에이전트는 OfficeVerse(11산업×12과제)로 한국어 실무 능력을 키운다
✓완전 비동기 RL(5가지 장치)로 학습 속도를 크게 높인다
✓MOPD는 KL 발산 손실 하나로 12명의 전문성을 하나로 통합한다

다음 강의

5강 예고: 이렇게 완성된 모델의 실제 성적표를 확인하고, 강의를 마무리합니다.

← 전체 목차 5강. 평가 및 결론 →