GPT2 を使った音声認識モデルの作成#1

Open

abePclWaseda wants to merge 21 commits intomainfrom

feature/useGPT2

Owner

abePclWaseda commented Feb 18, 2025 •

edited

Loading

What?

GPT2 を LibriSpeech-960h に fine-tuning する．（LM）
GPT2 を Conformer-Transformer の Decoder として使用して， LibriSpeech-960h に fine-tuning する．(ASR)

Why?

See also


          initial commit

c3194ca

abePclWaseda self-assigned this

abePclWaseda added 12 commits

February 19, 2025 00:25


          librispeeechの参照データ先変更

9c6751f


          デフォルトのプログラムでステージ7を走らせる

e48f2d8


          max_epoch 25 -> 10

db0b063


          Librispeech が回ることを確認．

d287656


          train_transformer_gpt2.yaml 追加

2c0169e


          cofig 名修正

c342800


          run.sh 変更

a985376


          huggingface_pretrained_opt_lm.py を gpt2 も対応するよう変更

e389867


          トークンタイプリストにhugginface追加

38bf61f


          train_asr_conformer.yaml 変更

3d2f821


          hugging_face_transformers_decoder.py 変更

9f1d04d


          hugging_face_transformers_decoder.py 変更

77db6e4

Owner Author

abePclWaseda commented Feb 24, 2025 •

edited

Loading

実装は終了したので，GPU(g16,24,27) に空きが出たら，LM と ASR-Model の学習行う．
(02/24) g15・tmux0でステージ1から回し始めた．

abePclWaseda added 8 commits

March 2, 2025 13:13


          500 を超えたときの警告をコメントアウト

956923c


          gpt2 のスペルミス修正

fbad0ca


          max_epoch を 10 にする

5dd3582


          学習率の調整

47020e9


          sf なしの実装．

ff528f7


          make_gpt2_parameters.py 追加

b2b3439


          モデルマージ用のコード追加

4a7ef10


          推論回すために修正

24be45e

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet