목차 개요 LayerNorm이 하는 일 LayerNorm의 정의 RMSNorm과의 차이 Post-LN과 Pre-LN의 구조 차이 원조 Transformer는 Post-LN이었다 두 구조의 형식적 정의 Xiong et al. 2020의 이론 ...

목차 개요 배경과 관련 연구 효율적인 트랜스포머 자기 어텐션에 대한 이론적 이해 선형화된 소프트맥스 방법론 트랜스포머의 일반화된 어텐션 정식화 선형 어텐션과 결합법칙 특징 맵 선택과 계산 비용 인과 마스킹과 누적합 상수...

목차 개요 방법론 LoopLM 아키텍처 적응형 종료 게이트 Stage I 엔트로피 정규화 목적함수 Stage II 게이트 집중 학습 학습 파이프라인과 데이터 학습 안정성 조정 주요 결과 베이스 모델 벤치마크 추론 모델 ...

목차 개요 방법론 인지와 결과의 분리 메커니즘 분해 조건과 홀드아웃 평가 실행 가능한 아티팩트 컨트롤러 실험 셋업과 하이퍼파라미터 핵심 수식 주요 결과 인구 스케일링 800틱 실험 역할 없이 나타난 행동 분화 실행 가능...

목차 개요 배경과 관련 연구 잠재 추론과 Looped LM 기존 RL 적용의 실패 방법론 정의와 표기 RLTT 정책 그래디언트 KL 정규화와 최종 목적 함수 루프 가중치 전략 알고리즘과 연산 비용 실험 설정 ...

목차 개요 연구 배경과 가설 실험 셋업 데이터와 모델 측정 지표와 신뢰도 방법론 대화 행동과 사회정서적 역할 SAE 피처 스티어링 암묵적 관점 다양성 측정 강화학습 실험 설계 주요 결과 대화 행동의 ...

목차 개요 모델 데이터와 평가 범위 학습 데이터 구성 평가 대상 체크포인트 안전성 평가 금지 콘텐츠와 과잉 거부 탈옥 견고성 환각 평가 공정성과 편향 지시 계층 Chain-of-Thought 안전성 ...

목차 개요 방법론 토큰 선택과 라우팅 어텐션 계산과 위치 인코딩 FLOP 비용 비교 비교 대상 베이스라인 실험 설정 주요 결과 IsoFLOP 언어 모델링 성능 희소도별 상세 결과 자원 사용량 최적화 긴 시퀀스...