👋
FuguMTがビッグモーターみたいな文章や成り立っていない文章を出す問題と一応の解決策
遭遇した問題
英語→日本語訳の問題
FuguMTで英語から日本語へ翻訳すると
推推推推推推推推推推推推推推推推推推推推推推推推…（中略)…推推推推推推推推推推推推推推推
のような文章になる問題
日本語→英語の問題
日本語から英語への翻訳時に、
吾輩《わがはい》は猫である。名前はまだ無い。
どこで生れたかとんと見当《けんとう》がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
のような文章[1]が
システムを
のような文章になってしまう問題
原因の切り分け
Colabでの検証の結果
transfomersのバージョンが4.31.0,sentencepieceのバージョンが0.1.99の時に発生していることがわかった。（具体的にどのバージョンから発生しているのかは未検証)
解決策
!pip install transformers==4.26.1
!pip install sentencepiece==0.1.97
で解決すると思う。
Discussion