Google翻訳はすでに「ニューラル機械翻訳」「リライティングベースのパラダイム」「オンデバイス処理」の技術を使用しており、これらの技術はすべて翻訳を非常に正確にしました。しかし、これらの技術のどれも人間のパフォーマンスに勝つつつつはできないし、それは事実です。
これらのテクノロジの組み合わせは、低リソース言語と高リソース言語、推論速度、および待機時間を対象としていました。翻訳が1年で50の最も低いリソース言語の5以上の点の5以上の大きな改善を示した理由です。
これらの改善は、人間の参照翻訳とBLEUと呼ばれるシステムの翻訳との類似性に基づく人間の評価とメートル法によって測定された。
Google翻訳はまた、AIモデルが無意味な入力を与えられたときに奇妙な翻訳を与える機械翻訳幻覚現象に対処する上で改善を示しています。
Google が最初に使用するテクノロジは、ハイブリッド アーキテクチャ モデルです。トランスフォーマーエンコーダと再発ニューラルネットワーク(RNN)デコーダのハイブリッドです。
機械翻訳の観点から、エンコーダーは単語や語句を内部表現としてエンコードし、デコーダはこれらの表現を使用して、ユーザーが望む言語でテキストを生成します。
データ入力言語が自然な場合、Transformer は文の先頭を処理してから終了を処理する必要はありません。トランスフォーマーベースのモデルがRNNよりも効果的であると考えられるのはそのためかもしれません。しかし、RNNデコーダは、トランスフォーマー内のデコーダよりも大きな推論速度を持つと考えられています。
今、Google翻訳は、RNNデコーダを最適化し、トランスフォーマーエンコーダとそれを結合し、その機能で例外的であるこの低遅延ハイブリッドモデルを作成しました!
グーグルはまた、データマイナーをアップグレードしました。現在は、辞書ベースではなく、14の大きな言語ペアに対して「埋め込みベース」になっています。つまり、検索されたデータの中で関連データの割合である「精度」に焦点を当てながら、単語やフレーズを表現するために数値のベクトルを少なくし、取り出された関連データの総量の割合である「リコール」に焦点を当てないことを意味します。
これは、鉱夫が抽出したものの29%の文章の数を増加させ、それは良い改善です。
Googleが採用したもう一つの技術は、トレーニングデータのノイズの治療のためのモデルを作成していました。
ノイズとは、正しく理解または解釈できない膨大な量の情報を持つデータです。翻訳が容易に利用でき、豊富な言語の翻訳に害を与えます。
そこで、この騒がしいデータに対処するために、Google翻訳は、騒がしいデータで訓練されたモデルを使用してサンプルにスコアを割り当て、「クリーン」データで調整するカリキュラム学習システムを作成しました。そのため、モデルはすべてのデータに対するトレーニングを開始し、その後、徐々に小さく、よりクリーンなデータサブセットにトレーニングを開始します。
低リソース言語の場合、GoogleはGoogle翻訳に並列トレーニングデータを使用するスキームを展開しており、各文は翻訳と組み合わせられます。
これらの技術は、流暢さを向上させるのに特に有用である。
翻訳はまた、M4モデルが英語と多くの言語の間で翻訳する巨大なM4モデリングを使用しています。このモデルは、Google翻訳での転送学習を可能にし、数十億の並列サンプルを持つ高リソース言語を通じてトレーニングから得られた洞察を転送し、数千の例を持つ低リソース言語の翻訳に適用することができます。
写真: ゲッティイメージズ経由のAFP
帽子のヒント: .