言語ベースのAIモデルの古いバージョンである「Transformer」は、文章を理解するためにペアマッチングを使用し、数千語以上のテキストを処理する必要がある場合に備えて多くのデータスペースを必要としました。つまり、古いAIが長い記事や本を処理するのは非常に困難でした。この問題を解決するために、Google は言語ベースの AI モデルの改良版を立ち上げ、 という名前を付けました。現在のモデルは、データスペースの問題とアテンションスパンの問題を解決するように設計されています。注意スパンでは、「リフォーマー」モデルは局所性に敏感なハッシュまたはLHSを使用します。
局所性に敏感なハッシュを使用すると、モデルは単語を比較するのではなく、ハッシュ関数を使用して同一の単語またはむしろ類似した単語を1か所でバンド化しています。これらの単語は、互いに比較され、後で別の場所に置かれた同一の単語と比較されます。これにより、時間制限が減少し、処理の過負荷を防ぐことができます。メモリの問題を解決するために、研究者は、別の層で使用される層である1つの層の活性化を使用して、可逆的な残留層を試みた。テスト目的で、GoogleはReformerによって読まれた画像を使用し、後でフルフレーム画像を作成しました。新しいモデルでは、書籍の処理が簡単になり、将来的に大きな機会が開かれます。