전문가 확장과 종합 효과

전문가 수를 128명 → 320명으로

• 전문가(라우팅 전문가)가 많아질수록 더 세분화된 지식을 담을 수 있어요
• 매 질문마다 320명 중 Top-8 + 항상 대기하는 공유 전문가 1명이 함께 답을 만듭니다 (MoE, 즉 여러 전문가 중 일부만 골라 쓰는 구조의 중간 크기 1,280, 활성화 함수 SiLU는 1세대와 동일)
• 다만 전문가가 늘면 몇 명에게만 일이 몰리는 '붕괴(collapse)' 위험이 커져, 라우팅 균형 손실 같은 정규화가 중요해집니다

전문가가 많아지면 생기는 새로운 숙제

• 라우팅 전문가 풀이 128명에서 320명으로 커지면 라우팅 붕괴(routing collapse)라는 진짜 위험이 따라옵니다 — 라우터가 매번 일부 소수 전문가에게만 의존하고 나머지는 거의 쓰지 않게 되는 현상입니다
• 이렇게 되면 전문가 수를 늘려서 얻으려던 추가 용량을 사실상 낭비하게 됩니다
• 그래서 전문가 수가 늘어날수록 라우팅 균형(load-balancing) 손실 — 전문가 사용을 고르게 유도하는 정규화 항 — 이 점점 더 중요해집니다
• 즉, 용량을 확장하는 건 공짜가 아니고, 그걸 의도대로 작동시키려면 새로운 엔지니어링 과제가 함께 따라옵니다

같은 실력, 훨씬 적은 공부량으로

• 1세대 아키텍처(all-softmax, 전부 정독형만 쓰는 방식) 대비, 하이브리드+NoPE만으로 동일 검증 손실에 82.6%의 토큰만으로 도달
• 여기에 시그모이드 게이트(+3%), 소프트맥스-먼저 순서(+1.5%), 음의 고유값(+1%)이 추가 개선

💡 핵심 교훈: 손실(loss)의 작은 차이가 실전 벤치마크에서는 비선형적으로 훨씬 큰 점수 차이로 이어집니다. 설계할 때 손실 수치만이 아니라 실제 성능까지 함께 봐야 하는 이유입니다.

2강 핵심 정리

• ✓골격(48층·4096·196,608어휘)은 그대로 두고, 읽는 방식·위치 표시·전문가 수 3가지만 바꿨다
• ✓S-L-L-L 패턴의 하이브리드 어텐션으로 속도와 정확도를 동시에 챙긴다 (25% 소프트맥스, 75% 선형)
• ✓위치 번호 없이도(NoPE) 선형층의 재귀 상태가 순서를 스스로 기억한다
• ✓시그모이드 게이트(필터)와 음의 고유값(지우개, -1~1)으로 오류를 스스로 관리한다
• ✓결과적으로 동일 성능 도달에 필요한 학습량이 최대 3.2배 줄었다