[Activation Function] GeLU + Commons

[jinmang2]

목적: transformers activation function 구현

GeLU

• Bloom GeLU
• NewGeLU
• GeLU
• FastGeLU
• QuickGeLU
• ClippedGeLU

Quantized

• IntGELU
• QuantAct

Commons

• linear
• mish
• relu
• sigmoid
• silu
• swish
• tanh

[jinmang2]

• transformers의 구현체를 복사
• bloom 내의 코드 사용

[jinmang2]

iBERT의 경우, activation function에 들어가는 인자들이 많아 구현에 고민을 하게된다. 아직은 Transformer를 Text, Vision, Audio별로 나눌지 각 모델별 객체를 어떻게 세팅할지 결정하지 못했기 때문에 modeling_ibert.py에 있는 activation_bit에 사용되는 [8, 16, 22] 만 남긴 상태. 향후 TODO로 남겨둠.