Prioritize the Process, Not Just the Outcome: 잠재 사고 궤적 보상으로 Looped LM의 추론을 개선하는 RLTT
목차 개요 배경과 관련 연구 잠재 추론과 Looped LM 기존 RL 적용의 실패 방법론 정의와 표기 RLTT 정책 그래디언트 KL 정규화와 최종 목적 함수 루프 가중치 전략 알고리즘과 연산 비용 실험 설정 ...
목차 개요 배경과 관련 연구 잠재 추론과 Looped LM 기존 RL 적용의 실패 방법론 정의와 표기 RLTT 정책 그래디언트 KL 정규화와 최종 목적 함수 루프 가중치 전략 알고리즘과 연산 비용 실험 설정 ...
목차 개요 연구 배경과 가설 실험 셋업 데이터와 모델 측정 지표와 신뢰도 방법론 대화 행동과 사회정서적 역할 SAE 피처 스티어링 암묵적 관점 다양성 측정 강화학습 실험 설계 주요 결과 대화 행동의 ...
목차 개요 모델 데이터와 평가 범위 학습 데이터 구성 평가 대상 체크포인트 안전성 평가 금지 콘텐츠와 과잉 거부 탈옥 견고성 환각 평가 공정성과 편향 지시 계층 Chain-of-Thought 안전성 ...
목차 개요 방법론 토큰 선택과 라우팅 어텐션 계산과 위치 인코딩 FLOP 비용 비교 비교 대상 베이스라인 실험 설정 주요 결과 IsoFLOP 언어 모델링 성능 희소도별 상세 결과 자원 사용량 최적화 긴 시퀀스...
목차 개요 배경과 문제 제기 Agentic RL의 공유 파라미터 가정 기존 연구와의 차이 방법론 Capability Effect Attribution 통제된 모델 변형 6종 구성 그래디언트 정렬 분석 DART: Disentangled Act...
목차 개요 방법론 보이지 않는 추론의 정의와 세 가지 진단 기준 합성 태스크 평가 셋업 주요 결과 필러 토큰 종류와 few-shot 설정의 상호작용 태스크 의존성과 Qwen3.5-397B의 포맷 붕괴 메커니즘 분석 프론티어 모델 ...
목차 개요 방법론 Recursive Transformer와 파라미터 공유 전략 라우팅 전략: Expert-choice와 Token-choice KV 캐싱 전략: Recursion-wise Caching과 Recursive Sharing 실험 셋업 주요 결과 ...
목차 개요 배경과 문제 의식 방법론 계층적 순환 구조 계층적 수렴 1-step gradient 근사 Deep Supervision Adaptive Computational Time 아키텍처 세부 사항 실험 셋업 주요 결과 ...