설계 변경 개요와 하이브리드 어텐션

뭐가 바뀌었는지 큰 그림부터, 그리고 정독과 속독을 섞은 첫 번째 비밀 병기까지

Solar Open 2 기술 보고서 2장 기반 · 초심자를 위한 쉬운 해설 + 원문 수치

→ 다음 (방향키 또는 화살표 클릭)

큰 그림

설계 변경, 딱 3가지만 기억하세요

기본 골격(48층, 히든 크기 4,096, 어휘 196,608)은 1세대와 완전히 동일 — 지식을 물려받기 위해서입니다
바뀐 것은 ① 읽는 방식을 섞었고(하이브리드 어텐션) ② 위치 표시를 없앴고(NoPE) ③ 전문가 수를 늘렸어요(128→320)
이 3가지가 합쳐져 1M 토큰을 all-softmax(1세대처럼 전부 정독형만 쓰는 방식) 대비 약 1/4의 메모리·연산으로 처리할 수 있게 됩니다

원문 스펙 요약 (Table 1)

변화 ①

정독형(Softmax, GQA) 읽기: 모든 토큰 쌍을 직접 대조 → 정확하지만 KV 캐시(과거 토큰 정보를 저장해두는 메모리)가 시퀀스 길이에 비례해 늘고, 연산량은 제곱으로 증가
속독형(Linear, KDA) 읽기: 고정 크기 '재귀 상태'에 압축 요약 → KV 캐시는 상수, 연산은 시퀀스 길이에 비례(선형)
Solar Open 2는 4개 층을 한 블록으로 묶어 Softmax 1개 + Linear 3개(S-L-L-L)를 12번 반복 → 전체 48층 중 12층(25%) 소프트맥스, 36층(75%) 선형
Kimi Linear·Qwen3.5는 반대로 Linear를 먼저 두는 L-L-L-S 순서를 쓰지만, Solar Open 2는 소프트맥스를 먼저 둬서 위치 정보를 선형 레이어로 전달합니다

×12

Softmax (정독, GQA) — 전체 48층 중 12층 (25%) Linear (속독, KDA) — 전체 48층 중 36층 (75%)

💡

쉽게 말하면

쪽지시험 준비할 때, 중요한 부분만 정독하고 나머지는 요약 노트로 훑는 것과 비슷해요.

변화 ① — 어디서 온 아이디어일까

Kimi Linear(Kimi Team, 2025), Qwen3.5(Qwen Team, 2026), Nemotron 3(NVIDIA, 2025)도 모두 선형+소프트맥스를 섞는 하이브리드 어텐션을 채택한 최근 흐름의 일부입니다
다만 순서가 다릅니다 — Kimi Linear·Qwen3.5는 Linear 먼저(L-L-L-S) 두는 반면, Solar Open 2는 Softmax를 먼저(S-L-L-L) 두는 선택을 했습니다
두 블록을 이루는 이름표도 명확합니다 — 정독형은 GQA(Grouped-Query Attention, Ainslie et al., 2023), 속독형은 KDA(Kimi Delta Attention, Yang et al., 2025)라는 기존 기법을 가져다 조합한 것입니다

💡

쉽게 말하면

완전히 새로운 재료를 발명한 게 아니라, 이미 검증된 두 재료(GQA, KDA)를 가져와 순서만 다르게 배합한 레시피에 가깝습니다.

변화 ① — 왜 굳이 섞을까

All-Softmax (1세대 방식) — KV 캐시 ∝ 길이, 연산 ∝ 길이² 하이브리드 (Solar Open 2) — 대부분 상수/선형 증가

긴 문서를 읽을수록 정독형만 쓰면 자원 소모가 폭증합니다. 속독형을 75% 섞으면 100만 토큰까지도 완만하게 처리할 수 있어요.