テクノロジーが主流になって以来、機械が人間の心を置き換えることができれば、誰もが探求に忙しいです。彼らは、機械やコンピュータが私たちが行っているように情報を理解し、処理できる時期があるかどうかを探りたいと考えていました。言語ベースの機械学習モデルが直面していた基本的な課題の 1 つは、コンテキストまたは参照を理解することと関係があります。Googleはソリューションを提供するためにかなり近づいているようですが、最近では新しいモデルを導入しています.この人工知能ベースのモデルは、わずか16 GBのスペースを使用して100万行の本を理解する能力を持っています。新しいモデル「Reformer」は、段落内の単語を比較するためにニューラルネットワークを使用していたもののより良いバージョンであり、その後、これらの行間の関係を理解していました。ただし、リフォーマーは、フォーカスされているテキストに書かれた数行または段落を理解できるため、情報を理解する優れた方法を持っています。
言語ベースのAIモデルの古いバージョンである「Transformer」は、文章を理解するためにペアマッチングを使用し、数千語以上のテキストを処理する必要がある場合に備えて多くのデータスペースを必要としました。つまり、古いAIが長い記事や本を処理するのは非常に困難でした。この問題を解決するために、Google は言語ベースの AI モデルの改良版を立ち上げ、 という名前を付けました。現在のモデルは、データスペースの問題とアテンションスパンの問題を解決するように設計されています。注意スパンでは、「リフォーマー」モデルは局所性に敏感なハッシュまたはLHSを使用します。
局所性に敏感なハッシュを使用すると、モデルは単語を比較するのではなく、ハッシュ関数を使用して同一の単語またはむしろ類似した単語を1か所でバンド化しています。これらの単語は、互いに比較され、後で別の場所に置かれた同一の単語と比較されます。これにより、時間制限が減少し、処理の過負荷を防ぐことができます。メモリの問題を解決するために、研究者は、別の層で使用される層である1つの層の活性化を使用して、可逆的な残留層を試みた。テスト目的で、GoogleはReformerによって読まれた画像を使用し、後でフルフレーム画像を作成しました。新しいモデルでは、書籍の処理が簡単になり、将来的に大きな機会が開かれます。
