【検証記事】Googleのニューラル機械翻訳(NMT)と他の機械翻訳を比較してみた
ニューラル・ルールベース・統計ベースの機械翻訳を比較
最近、ニューラルネットワークを利用した機械翻訳（NMT）がどんどん開発されています。ルールベース（RBMT）や統計ベース（SMT）などの従来の機械翻訳に比べて品質が良くなったといわれていますが、実際のところどうなのでしょうか。GoogleのNMT（GNMT）を使って検証してみました。
確実に機械翻訳の精度は上がっている
結論から言うと、確かに品質は良くなっている印象です。今回、サンプルの英文を、それぞれRBMT、SMT、NMTで和訳してみたのですが、総合的に見てGNMTのアウトプットが一番良いと思われました。特に文章としての読み易さに関しては、ほとんどのケースでGNMTが一番優れているという印象です。
ただしミスが無いわけではなく、意味の取り違えや抜けなどが所々に見られ、エラーの発生率自体は他のタイプのエンジンとあまり変わらない様に思いました。また文章が自然な分、ミスがある場合に気づきにくいという点にも気づきました。
ニューラル機械翻訳結果の典型的なエラー
① 訳語が統一されない
② タグの処理に問題がある（これについてはニューラルに限られないが）
③ 表記（長音・中黒・半角スペースなど）が統一されない
④ 突然訳抜けが発生する
⑤ 突然誤訳が発生する
機械翻訳のアウトプットをそのまま使うような用途であれば、現時点でおそらくGMTが一番優れているのではないかと思いますが、ポストエディットをするという観点で考えると、必ずしもそうではないかもしれません。
エンジンのタイプによってポストエディットの手法が変わる？
他のタイプのエンジンと比較して、ポストエディットの手法や、アウトプットの用途が変わってきそうです。
RBMTの場合は、単語やフレーズを個々に辞書で置き換えた直訳調のアウトプットになりがちです。そのため、意味は合っているが、読みづらいまたはターゲット言語の文法として不自然なことが多く、ポストエディットでは主にそれらの点を修正することになります。
GNMTの場合は、もともとのアウトプットは文章としては自然なのですが、先ほど触れたように誤訳や訳抜けなどを修正する必要があります。また訳調やスタイルが一貫していないことがあり、その点も注意が必要です。
この場合、RBMTの様にある程度決められたルールに基づいて直すというよりは、各原文と訳文を注意深く見比べて、ミスを見落とさないようにする必要があります。
まとめ
はじめに述べた様に、全体的な翻訳の質や読みやすさに関しては、GMTが頭一つ抜けていると思うので、多少のぶれや不正確さがあることを前提にそのまま使う場合や、文章の要点をつかむための下訳としての利用等に関しては、GNMTはかなり有効だと思われます。
逆に、今までTMを活用してきた大量のテクニカルドキュメントなどを機械翻訳（MT）＋ポストエディット（PE）で処理する場合には、場合によってはRBMTやチューニング済みのSMTの方が有効かもしれません。
現状、それぞれのタイプのエンジンを用途によって使い分けることが最善だと思われますが、人間が翻訳した訳文に最も近いアウトプットを出しているのがGNMTであることは疑いようが無いと感じました。今後GNMTがさらに進化していけば、他のタイプのエンジンに取って代わるかもしれないですね。
川村インターナショナルの翻訳サービス
機械翻訳の利点と課題を見極めながら、機械翻訳の最適な使い道を探ることが求められている今、機械翻訳を比較ご検討中の方には、選定時の重要なポイント・CATツールとの連動・スペック比較を含めて、自社の要件に合わせた機械翻訳エンジンをご提案させていただきます。ポストエディットにつきましてもお気軽にお問い合わせください。
関連記事
