Googleの検索エンジンの主な目的は、人々がインターネット上で自分の心が望むものを見つけられるようにすることであり、それはそれが得ることができるインターンの隅々までクロールし、それが見つけたすべてのURLをリストすることによってこれを行います。最近のRedditのコメントは、SEOツールを使用するときに発生する可能性のあるフラストレーションについて話しました。
これらすべてが言われ、今では邪魔にならないように、Googleの検索支持者であるJohn Muellerが最近、ウェブ上のすべてのURLを見つけることが多かれ少なかれ不可能であることに注意することが重要です。簡単に言えば、ウェブはこれを可能にするには大きすぎる場所であり、Mueller氏はまた、インターネット上には無数のユニークなURLがあり、すべてのことが考慮され、考慮されていると述べました。
また、すべての URL がクロールされないようにする物理的な制限もあります。URL の数は潜在的に無限であるため、URL のすべてを格納できるデータベースは世界には存在しません。クローラーは、このような大量のURLを見つける場合にも多くのリソースを必要とし、SEOのようなものにもっと費やし始める必要があるため、サイト所有者にとってもコストがかかる可能性があります。
インターネットの広大な塊はまた、誰もそれほど興味を示さないがらくたと役に立たない情報でいっぱいです。Web クローラーは、そもそも誰も特に望んでいないこれらの URL を取得しようとすると、多くのリソースを浪費する可能性があるため、多くの場合、判断呼び出しを行い、関連性の高いページに集中しようとします。これらの制限は、インターネット全体をクロールすることを不可能にするものですが、それは一部の人にとっては便利です。
upklyak freepik によって作成されたベクター