어텐션 레지듀얼(Attention Residuals): 트랜스포머의 새로운 잔차 연결 방식
어텐션 레지듀얼(AttnRes)은 트랜스포머의 잔차 연결을 혁신적으로 개선한 방법입니다. 각 레이어가 이전 정보를 똑똑하게 선택해 결합하며, 특히 코드 생성과 복잡한 추론에서 큰 성능 향상을 보여줍니다. 메모리 효율까지 잡은 최신 연구, 궁금하지 않으세요?