BERTScoreを英語で試す

自然言語の評価基準「BERTScore」を英語でも試して見ます。Google開発のBERTなので、もちろん英文の自然言語処理の方が得意です。

英文用にコード変更

英文の自然言語処理をする場合、前回のPythonコードの5行目、言語指定を「lang=”en”」に変更するだけです。

むしろ英文がデフォルトで、日本語に対応していたことが、ありがたいことです。

英文で類似度の計算

前回テストで使った日本語の文章を、英文に翻訳します。

この4つで類似度計算します。

結果は、日本語で計算した時と順位が変わりません。

ただし、スコアと処理時間はだいぶ変わります。

スコアが高く、処理時間が増加

スコアを見ると、日本語では見られない0.9以上が出力されるようになりました。

ただし、処理時間は22.8秒→33.4秒に増加。

自然言語処理に使う学習データは英語の方が多いため、処理に時間がかかるのでしょうか?

大量の英文を処理する場合、日本語より時間がかかることに注意する必要があるかもしれません。(納品期限とかあれば)

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)