新しいセットアップでは、UI スクリーンショットの助けを借りて画面に表示されるアイコンを自動的に検出する可能性を保持する、より高度なレベルの機械学習モデルを利用します。画像やアイコンなどの要素にアクセシビリティラベルが付いていれば、音声アクセスが注目されます。
ユーザー補助ラベルを知らないユーザー補助のラベルを使用するユーザーは、デバイスのアクセシビリティ サービスが一度に 1 つの画面上の要素をターゲットにできる一方で、UI の完全なサイクルも同時に完了したことをユーザーに知ることができます。以前は、ラベルを持たない要素がいくつか存在し、これはまさに新しいバージョンの Voice Access がユーザーのために解決する予定の要素です。
Voice Access のバージョン 5.0 に組み込まれた IconNet という新しいビジョン ベースのオブジェクト検出モデルがあります。31種類のアイコンタイプが検出され、その数が70倍になると予想されます。IconNetの仕組みについて説明しながら、Googleはブログ記事を通じて、最初に入力画像から関連するアプリアイコンを取り出し、正確な場所とサイズを調べていることを意味します。
一方、ユーザーは音声アクセスを介してのみアイコンを参照する必要があり、名前を介してIconNetによって「メニューをタップ」などでそれらに誘導されます。
Googleのエンジニアは、最初に70万以上のアプリスクリーンショットを収集してラベル付けし始めたため、IconNetと一緒に懸命に取り組んできました。その後、ヒューリスティック、補助モデル、データ拡張技術でプロセスを合理化し、まれなアイコンをピックアップし、既存のスクリーンショットをまれなアイコンで豊かにするのにかなり効果的であることが判明しました。
その結果、IconNetは、シームレスなユーザーエクスペリエンスを提供しながら、モバイル環境、コンパクトサイズ、高速推論時間でスムーズなオンデバイスを実行できるように最適化されています。
Googleはまた、IconNetがサポートする要素の範囲を、一般的な画像やテキストからボタンまで増やす計画です。近い将来、IconNet は、その機能に基づいて、類似したアイコンを 2 つ以上区別できる可能性があります。
開発中の最前線では、開発者が独自のアプリケーションの構築に取り組んでいるときに、さまざまな要素のコンテンツ説明を正しく提案するツールも大幅に改善されるため、Googleは有効なコンテンツの説明を持つアプリの数を増やします。
Googleは、2016年に音声アクセスのベータ版と他のモバイルアクセシビリティの取り組みで初めて登場しました。現在、同社はまた、アクセシビリティ中心のアプリであり、コンピュータビジョンを使用してパッケージ食品を特定し、文書をスキャンして、一度に手紙や電子メールをレビューしやすくなるように、Lookoutにも取り組んでいます。
また、近い将来、携帯電話が所有者に代わって耳を傾けて話せるように、デバイス上の音声認識とテキスト読み上げに基づいて、音声障害を持つ人々に捧げるプロジェクトユーフォニア、ライブリレー、および何も話すことなくGoogleアシスタントコマンドを与えることができるプロジェクトディーバについても聞いています。