Google I / Oイベント中に、組織は一般的な使用のために作成された最新の大きな言語プロトタイプであるPaLM 2を発表しました。CNBCがアクセスした内部文書は、Pathways言語モデル2が驚異的な3.5兆枚のチケットに向けられていることを明らかにしています。単語文字列で構成されるチケットは、モデルが特定のシーケンス内の後続の単語を予測できるようにするため、言語プロトタイプで重要な役割を果たします。2022年、Googleは7,700億枚のチケットでトレーニングされた以前のバージョンのPaLM(パスウェイ言語モデル)を導入しました。
Googleは、AIの機能を紹介し、検索機能、Excelスプレッドシート、ドキュメントの編集、電子メールメッセージにシームレスに統合することに熱意を示していますが、組織はデータの規模や構成に関する具体的な詳細を明かさないことを選択しました。
同様に、MicrosoftとChatGPTの開発者が支援するビジネスであるOpenAIは、最新の主要言語モデルであるGPT-4の詳細を秘密にしています。両社は、従来の検索エンジンよりもカジュアルなチャットボットベースの情報検索を好むユーザーの注意を争うため、業界内の競争環境に透明性の欠如を帰しています。しかし、AIの進歩をめぐる競争が激化するにつれて、研究コミュニティはこれらの取り組みをより明確にすることをますます要求しています。
Pathways Language Model 2の導入後、Googleは、最も滞納しているバージョンは、以前の大規模言語モデル(LLM)と比較してサイズが縮小されていることを強調しています。この開発は、Googleのテクノロジーの効率が向上し、より複雑なタスクにうまく取り組むことができることを意味するため、重要です。内部ドキュメントによると、PaLM 2は3,350億個のパラメータでトレーニングを受けており、モデルの複雑さを示しています。この問題に関して、Googleはまだこの特定のアカウントについて直接の声明を発表していません。
Pathways Language Model 2について議論するブログで、Googleは「最適計算スケーリング」として知られる新しいアプローチの組み込みを明らかにしました。この手法により、大きな言語プロトタイプの効率と全体的なパフォーマンスが向上し、推測が迅速になり、パラメーター計算が削減され、サービス費用が削減されます。
Googleはまた、Pathways Language Model 2が100の異なる言語に熟練しており、幅広い機能を誇り、25のコンポーネントと製品を駆動できるようにすることで、CNBCの最後のレポートを保証しました。パスウェイズ言語モデル2は、カワウソとバイソンを間に挟んだ最小のヤモリから最大のユニコーンまで、4つのさまざまな次元で利用できます。
公開されている情報に基づくと、PaLM 2はパワーの点で現在のすべてのモデルを上回っています。たとえば、FacebookのLLaMA大型言語プロトタイプ。OpenAIのChatGPTのトレーニングサイズは、GPT-3で3,000億枚のチケットとして最後に開示されました。OpenAIは最近3月にGPT-4をリリースし、多数の熟練した評価にわたって「人間レベルのバージョン」を示していると主張しています。
新しい人工知能アプリケーションが急速に主流に浸透するにつれて、基礎技術を取り巻く議論はより激しく進化しています。基礎となる人工知能を取り巻く論争は、その広範な採用に対応して勢いを増しています。
2月、Googleの著名な上級研究員であるEl Mahdi El Mhamdiは、同社の透明性が不十分であるため辞任した。(SJS)上院司法小委員会が開催した孤独とテクノロジーに関する公聴会で、OpenAIのCEOは議員に同意し、AIを管理するための新しいフレームワークの必要性を強調し、彼のような企業が世界に導入するツールに関して負う重大な責任を認めました。