NoPE와 두 가지 보조 장치

위치 번호 없이 순서를 기억하는 방법과, 오류를 스스로 관리하는 두 가지 안전장치

Solar Open 2 기술 보고서 2장 기반 · 초심자를 위한 쉬운 해설 + 원문 수치

→ 다음 (방향키 또는 화살표 클릭)

변화 ②

NoPE — 페이지 번호 없이 순서 알기

기존 AI(RoPE 등)는 '몇 번째 단어인지' 위치 표시를 명시적으로 붙여줍니다
문제: 이 표시는 훈련 때 본 길이 분포에 묶여 있어, 그보다 훨씬 긴 글에서는 성능이 떨어집니다 (Kazemnejad et al., 2023)
Solar Open 2는 소프트맥스 층의 위치 인코딩을 완전히 제거하고, 위치 정보는 오직 속독형(Linear) 층의 순차적 재귀 상태가 담당합니다
이론적으로 훈련 길이와 무관하게 무한정 확장 가능 — 실제로는 100만 토큰까지 안정적으로 검증됨

기존 방식 vs NoPE

기존 방식 — 각 단어에 번호표를 붙임 (RoPE)

해1

가2

떴3

다4

···

Solar Open 2 (NoPE) — 번호표 없이, 속독 층이 순서를 기억하며 흘러감

해

→

가

→

떴

→

다

→ ···

번호표(위치 인코딩)가 없어도, 앞에서부터 순서대로 읽어나가는 흐름 자체가 순서 정보가 됩니다. 이걸 "내재적 위치 인코딩"이라 부릅니다.

💡

쉽게 말하면

페이지 번호가 없어도 이야기 흐름만 따라가면 지금이 앞부분인지 뒷부분인지 알 수 있는 것처럼요.

변화 ②의 보조 장치 (1)

소프트맥스 어텐션의 출력에 0~1 사이 값을 곱하는 필터를 추가 (Qiu et al., 2025)
효과 3가지: ① 비선형성 추가(원래 저랭크 연산에 표현력 보강) ② 희소성 유도(불필요한 헤드 출력 억제) ③ 어텐션 싱크 억제(초반 토큰에 주의가 쏠리는 병리 현상 완화)
학습 안정성도 좋아져 더 큰 학습률을 견딜 수 있고, 긴 컨텍스트 외삽력도 강화됩니다

시그모이드 함수 — 0과 1 사이를 부드럽게 오가는 스위치

입력이 작으면 0(차단)에 가깝고, 크면 1(통과)에 가깝게 — 중간 지점(0.5)에서 급격히 전환되는 부드러운 스위치입니다. 이 스위치 값을 어텐션 출력에 곱해 필요한 정보만 통과시킵니다.

변화 ②의 보조 장치 (1) — 조금 더 정확히

시그모이드 게이트는 원소별(elementwise)로 작동합니다 — 쿼리로부터 계산된 하나의 스칼라 값이, 각 어텐션 헤드의 출력마다 개별적으로 곱해집니다
레이어 전체를 켜고 끄는 전역 스위치가 아니라, 헤드 단위·쿼리 단위로 세밀하게 조절되는 필터라는 뜻입니다
바로 이 점 때문에 "쿼리에 따라 달라지는 희소성(query-dependent sparsity)"이 가능해집니다 — 질문이 다르면 억제되는 헤드도 달라질 수 있어요
이게 왜 중요하냐면, 어텐션 싱크는 모델이 문장 맨 앞 몇 토큰에 병적으로 과도하게 주의를 쏠리는 현상인데, 100만 토큰짜리 긴 컨텍스트에서는 이 쏠림이 훨씬 치명적이 됩니다 — 게이트의 세밀한 억제가 이 문제를 완화하는 열쇠입니다

변화 ②의 보조 장치 (2)

표준 선형 어텐션(KDA)은 기억 상태를 조절하는 값(고유값)의 범위를 0~1로 제한 — 기억은 유지되거나 서서히 사라질 뿐, 부호를 뒤집어 능동적으로 지울 수 없음
이 범위로는 "홀짝 세기" 같은 상태추적 문제를 원리적으로 풀 수 없다는 사실이 증명되어 있습니다 (Grazzi et al., 2025)
Solar Open 2는 allow_neg_eigval=True 설정으로 범위를 -1~1로 확장 — 기억을 유지·소거·부호반전까지 가능하게 함
100만 토큰이라는 긴 흐름 속에서 잘못 기억한 정보를 스스로 고치는(self-correct) 핵심 안전장치입니다

기억 조절 값(고유값)의 허용 범위

기존 (0 ~ 1)

기억을 유지하거나 서서히 사라지게만 할 수 있음 (지우기 불가) — 오른쪽 반쪽 안에서만 오갑니다

Solar Open 2 (-1 ~ 1)

부호를 반전해 스스로 지우고 고칠 수 있음 → 점이 가운데 선을 넘어 반대쪽(주황)으로 넘어가는 게 보이시나요? 그게 바로 '지우기'입니다

+3%

시그모이드 게이트의 학습 토큰 효율 개선

+1%

음의 고유값 확장의 학습 토큰 효율 개선

숫자로는 작아 보이지만(1~3%), 100만 토큰짜리 실전 작업에서는 오류 누적을 막아 훨씬 큰 차이를 만듭니다.