Google翻訳は100以上の言語にすばやく簡単に翻訳できますが、ユーザーはその制限と改善の余地をよく知っています。ChatGPTのような大規模な言語モデルは、膨大な量のトレーニングデータとリアルタイムのユーザーフィードバックから引き出して、複数の言語で首尾一貫した人間のような文章を生成し、言語翻訳に革命を起こす可能性を秘めています。
ChatGPTが旅行、仕事、国境を越えたコミュニケーションなどのさまざまなニーズに対応する頼りになる翻訳サービスとしてGoogle翻訳に取って代わることができるかどうかを判断するために、Microsoft BingとGoogle Bardとともに徹底的な評価が行われました。
バイリンガルスピーカーには、Google翻訳、ChatGPT、およびMicrosoft Bingを使用してそれぞれの言語に翻訳するための英語の段落が与えられました。演習を完了した後、参加者はどのサービスが各翻訳を作成したかについて知らされました。
テストされた言語には、ポーランド語、フランス語、韓国語、スペイン語、アラビア語、タガログ語、アムハラ語が含まれていました。この研究は包括的ではなく、統計的に有意な評価にはさらに厳密なテストが必要ですが、結果はAIモデルのパフォーマンスに関する貴重な洞察を提供しました。
選択された段落は、各翻訳サービスの制限を明らかにするために慎重に作成されました。最初の段落には、「蒸気を吹き飛ばす」や「乾杯!」などの口語的なフレーズと、米ドルとマイルでの測定が含まれていました。参加者の半数にのみ送信された2番目の段落には、「フーリガン」や「ポップシャンパン」などの俗語が含まれていました。
驚いたことに、AIチャットボット(ChatGPT、Google Bard、Microsoft Bing)は、参加者に送信された12の例すべてでGoogle翻訳を上回りました。ChatGPTは総合的に最高のランキングを獲得しました。
スペイン語の翻訳をランク付けしたアナ・ロメロによると、ChatGPTは通常の会話によく似た翻訳を提供しました。重要な質問の形式のレベルは一貫しており、「蒸気を吹き飛ばす」の翻訳は正確でした。
Google Bardが成功することはめったになく、Google翻訳の使用を提案したことさえありましたが、数回はうまくいきましたが、参加者は翻訳をGoogle翻訳よりも上位にランク付けしました。しかし、ChatGPTを含むすべてのチャットボットは、通貨と距離の測定値を正確に翻訳することができず、言語やサービス間で不整合を示していました。
Google翻訳の顕著な弱点の1つは、文脈上のニュアンスを見逃して、直訳を提供する傾向でした。対照的に、チャットボットは微妙さとコンテキストのキャプチャに優れていました。トレーニングデータの量が多く、特定の言語でのユーザーインタラクションが多いモデルは、文化的なフレーズの理解が深まり、より適切な翻訳が生成されました。
ChatGPTの成功は、ユーザーの好みに基づいて文化的に適切な応答を選択できるようにする、ヒューマンフィードバックによる強化学習(RLHF)アプローチに起因する可能性があります。一方、Google BardとGoogle翻訳は異なる基盤技術を採用しており、Google翻訳は翻訳タスク用に特別に最適化されています。
チャットボットはGoogle翻訳と比較して改善された翻訳を提供しましたが、完璧ではなく、時折厄介なまたは不正確な単語の選択が生成されました。それにもかかわらず、彼らはさらなるトレーニングと各言語でのより多くのデータでGoogle翻訳の機能を超える可能性を示しました。
テストでは、Google翻訳は、話者の人口が比較的少ない2つの言語であるタガログ語とアムハラ語で非常に優れたパフォーマンスを示しました。リソースが少ない言語やデータが不十分な言語の場合、チャットボットは微妙な翻訳を提供するのに苦労し、他の言語でのパフォーマンスとは対照的に、文字通りの解釈に頼ることがよくありました。
ChatGPTは、言語翻訳のニーズに対応するGoogle翻訳の実行可能な代替手段を提供しますが、AIモデルはまだ人間の翻訳者の完全な代替品ではないことに注意することが重要です。AIが進化し続けるにつれて、課題はそのパフォーマンスを正確に測定し、多様な言語間で効果的な翻訳を保証することにあります。
Googleはまた、クエリに対してChatGPTスタイルの回答を提供する検索生成エクスペリエンス(SGE)の実験も行っています。ただし、これらの実験は進行中であり、Googleは将来Google翻訳を置き換える可能性に関する情報を提供していません。
AI翻訳モデルの機能が進歩するにつれて、最終的な目標は、世界規模でWebにアクセスしやすくする、堅牢で文化的に敏感なモデルを開発することです。言語翻訳の未来は、AIモデルの継続的な改善と、さまざまな言語間で正確で自然な翻訳を提供する能力にかかっています。