[Feed Forward Network] Commons

[jinmang2]

목적: 다양한 형태의 Fully Connected Layer 구현

[jinmang2]

모델별 체크리스트

• pre vs post layernorm
• residual connection
• grouped linear
• deberta style
• intermediate-output class vs functional
• class 하나로 처리 vs code context를 봐야 하는지
• nn.Linear vs nn.Conv1D
• intermediate size가 fixed인지 various한지
• activation function
• apply_chunking_to_forward 유/무