ポスト
あ。ごめんなさい。ソースコード見てみました。 そか。padから始まる場合は、文章の最初の[cls]じゃなくて、input_idsの最後をeos_tokenに設定するから、そこを使うんですね。でも、バランス的には崩れてもおかしくはなさそうなイメージはちとありますね…。あとは学習率小さくしてみるとか。
メニューを開くあ。ごめんなさい。ソースコード見てみました。 そか。padから始まる場合は、文章の最初の[cls]じゃなくて、input_idsの最後をeos_tokenに設定するから、そこを使うんですね。でも、バランス的には崩れてもおかしくはなさそうなイメージはちとありますね…。あとは学習率小さくしてみるとか。
メニューを開く
