코딩·사무업무 에이전트와 비동기 RL 개요

코딩 에이전트와 사무업무 에이전트를 실전처럼 훈련시킨 방법, 그리고 학습 속도를 높인 완전 비동기 RL을 미리 살펴봅니다

Solar Open 2 기술 보고서 기반 · 초심자를 위한 쉬운 해설

→ 다음 (방향키 또는 화살표 클릭)

에이전트 ② 코딩

코딩 에이전트 — SWE · 터미널 · 아티팩트

SWE(소프트웨어 엔지니어링): 실제 오픈소스 프로젝트의 진짜 PR(코드 수정 요청)에서 과제를 채굴 — 18개 프로그래밍 언어를 다루고, 하나의 도구 방식에만 익숙해지지 않도록 5종의 서로 다른 에이전트 스캐폴드(에이전트가 도구를 쓰는 실행 틀 — OpenHands, Claude Code, OpenCode, KiloCode, HermesAgent)를 번갈아 사용합니다. 자동으로 만든 도커(Docker, 어디서나 똑같이 실행되도록 프로그램을 통째로 포장하는 가상 실행 환경) 환경이 실제로 빌드되고, "fail-to-pass"(수정 전엔 테스트가 실패하고 수정 후엔 통과)인 과제만 채택하며, git 기록은 지워서 AI가 정답을 버전 기록에서 그대로 훔쳐볼 수 없게 합니다
터미널(Terminal): 10개 이상 실제 업무 도메인에 걸친 작업을 다루고, 일부러 런타임 에러와 그 복구 과정도 포함시킵니다. AI가 "다 됐다"고 선언하기 전에 스스로 테스트를 작성하고 돌려보는 자기검증(self-verification)을 특히 강조합니다
아티팩트(Artifact): 프런트엔드 화면 생성 훈련으로, 웹사이트·게임 개발·3D 디자인·데이터 시각화·UI 컴포넌트·SVG 6개 카테고리를 다룹니다. 2단계 거부 샘플링으로 품질을 거르는데, 1단계는 정적 코드 린트와 Playwright 헤드리스 브라우저로 실제 작동 여부(실행 가능성)를 확인하고, 2단계는 VLM(비전-언어 모델)이 심사위원이 되어 완성된 화면 전체 스크린샷을 기능 체크리스트와 대조해 평가합니다

💡

쉽게 말하면

코딩 에이전트는 실제 회사에서 일하는 개발자처럼 진짜 버그를 고치고(SWE), 터미널에서 사고가 나면 수습하고(Terminal), 만든 화면을 사람이 직접 눈으로 검수하듯 확인받습니다(Artifact).

에이전트 ③ 사무업무 (가장 어려운 과제)

OfficeVerse — 진짜 사무 산출물을 만드는 훈련

목표는 xlsx·docx·pptx·pdf 같은 실무 산출물 그 자체를 만드는 것 — 업계별 전문지식까지 필요해 세 에이전트 중 가장 난도가 높았습니다
가장 큰 걸림돌은 진짜 사무 업무 데이터가 회사 소유(비공개)이고 절대량도 적다는 점이었어요
이를 자체 파이프라인 OfficeVerse로 해결: 11개 산업 도메인 × 12개 과제 유형의 매트릭스를 만들고, 실제 공개 데이터에 근거해 채워나갑니다
생성 방식은 두 갈래: ① 원자적 직업 태스크 합성 — 맥락 생성 → 보조 데이터 생성 → 프롬프트 생성 → 루브릭(채점기준) 생성의 4단계를 거치며, 각 단계 뒤마다 결정론적(사람 판단 없이 정해진 규칙대로 자동 판정하는) 검증 관문을 통과해야 다음 단계로 넘어갑니다
② 월드-그라운디드 작업공간 합성 — 아예 현실적인 회사 프로젝트 폴더 구조 전체를 만들고, 필요한 정보(증거)를 일부러 여러 파일에 흩어 놓습니다. 한 파일만 봐서는 풀 수 없게 해, 여러 파일을 넘나들며 정보를 모으는 능력을 훈련시키는 것이죠
한국어 특화 요소도 명시적으로 포함: 한국 직업 분류체계, 한국식 비즈니스 작문 관례, "영어로 추론하고 한국어로 출력" 프로토콜, 그리고 한자·한글이 깨지지 않는지 확인하는 CJK 텍스트 렌더링 무결성 검사까지 챙겼습니다
보고서는 이를 산출물을 직접 만들어내는 한국어 사무 훈련 데이터셋으로는 최초라고 밝히고 있습니다

💡

쉽게 말하면

신입사원에게 "이 폴더 안 여러 문서를 뒤져서 보고서를 완성해오라"고 시키는 것과 같아요. 정보가 한곳에 정리되어 있지 않고 여기저기 흩어져 있어야 진짜 실력이 늘거든요.

OfficeVerse — 난이도 설계

난이도는 어떻게 조절했나

OfficeVerse 과제는 두 축으로 난이도를 조절합니다: ① 난도(difficulty) — 최종 과제 지시문에 살아남은 제약 조건이 많을수록 더 어려운 과제가 됩니다
② 전문성(expertise) — 처음엔 과하게 친절했던 지시문에서 세부 안내(스캐폴딩)를 점점 벗겨내는 커리큘럼을 두어, 과제가 어려워질수록 채점 기준(루브릭)도 더 개방적인 전문가 판단 쪽으로 재조정됩니다
특히 월드-그라운디드 작업공간 트랙에는 별도의 환경 품질 감사가 있어, "모든 게 파일 하나에 다 들어있는" 것처럼 뻔한 지름길로 풀리는 작업공간은 아예 탈락시킵니다 — 여러 파일을 넘나들며 정보를 모아야만 풀리도록 보장하는 장치입니다

💡

쉽게 말하면

초급자에게는 힌트를 잔뜩 주다가 실력이 늘수록 힌트를 하나씩 떼어내고, 시험 문제도 "한 페이지만 보면 답이 보이는" 식으로는 절대 못 내게 막는 것과 같아요.

학습 속도 개선

완전 비동기 RL — 다 같이 기다리지 않는다

기존 방식: 가장 느린 작업 하나가 끝날 때까지 모두가 기다림 → 자원 낭비
새 방식: 각자 작업이 끝나는 대로 결과를 제출하고, 바로 다음 라운드로 넘어감
너무 오래된(낡은) 결과는 걸러내는 '신선도 기준'을 두어 품질을 지킵니다

💡

쉽게 말하면

반 전체가 한 사람 다 풀 때까지 기다리는 대신, 다 푼 사람부터 바로 채점받고 다음 문제로 넘어가는 것과 같아요.

다음 세부강의: 완전 비동기 RL 상세와 MOPD →