長楽SEOトレーニング：百度スパイダーのクローリング頻度の急増とウェブサイトページの非掲載の理由の分析

Spider によってクロールされるウェブサイトの数が急増すると、多くの場合、サイトにとって大きな問題となります。多くのサイトが BaiduSpiderIP ホワイトリストのプラットフォームに頼りますが、実際には BaiduSpiderIP はいつでも変更される可能性があるため、ウェブマスターが時間内に設定しないとクロール効果に影響する恐れがあるため、あえて発表しません。 Baidu はクロール頻度の数をどのように計算して割り当てるのでしょうか?サイトのクロール頻度が急増した理由は何ですか?

長楽SEOトレーニング：百度スパイダーのクローリング頻度の急増とウェブサイトページの非掲載の理由の分析

一般的に、Baiduspider は、サイトのサイズ、ウェブサイトが過去に毎日生成した新しいリンクの数、クロールされたウェブページの総合的な品質スコアなどに基づいて、クロール頻度を総合的に計算し、ウェブマスターがクロール頻度ツールで設定したウェブサイトが耐えられる最大クロール値を考慮します。

これまで調査したクローリング頻度の急増事例から、その理由は以下のように分類できます。

1. Baiduspider はサイト内に多数の JS コードがあることを発見し、大量のリソースを呼び出して JS コードを解析およびクロールしました。

2. Baidu の他の部門（ビジネス、写真など）のスパイダーはクロールしていますが、頻度と量はうまく制御されていません。申し訳ありません。

3. クロールされたリンクのスコアが十分でなく、スパムリンクが多すぎるため、スパイダーが再度クロールすることになります。

4. サイトが攻撃され、誰かがBaiduクローラーを模倣した

ウェブマスターが自分自身の問題や偽造の問題を排除し、BaiduSpider のクロール頻度が高すぎることを確認した場合は、フィードバック センターからフィードバックを送信できます。クロール ログの詳細なスクリーンショットを忘れずに提供してください。

Baiduがページを載せない理由の分析

現在、Baiduスパイダーが新しいリンクをクロールする方法は2つあります。1つはアクティブに発見してクロールする方法で、もう1つはBaiduウェブマスタープラットフォームのリンク送信ツールからデータを取得する方法です。その中で、アクティブプッシュ機能を通じて「収集」されたデータは、Baiduスパイダーで最も人気があります。ウェブマスターの場合、リンクが長期間含まれていない場合、特に新しいウェブサイトの場合は、アクティブプッシュ機能を使用してみることをお勧めします。ホームページデータをアクティブにプッシュすると、内部ページデータのキャプチャが容易になります。

それで、学生は、なぜデータを提出した後でもオンラインで表示されるのを見ることができないのかと尋ねるかもしれません。関係する要因は多数あります。スパイダークローリングのプロセスにおいて、オンライン表示に影響を与える要因は次のとおりです。

1. ウェブサイトのブロック: 笑わないでください。Baidu にデータを送信する際に Baidu Spider をブロックした学生が実際にいます。もちろん、その結果、彼らのウェブサイトは含まれなくなります。

2. 品質スクリーニング：Baiduスパイダー3.0は、特に時間に敏感なコンテンツなど、低品質コンテンツの認識を新たなレベルに引き上げました。クロール段階から品質評価とスクリーニングを開始し、過度に最適化された多数のページを除外します。社内の定期的なデータ評価によると、低品質のWebページの数は以前と比較して62％減少しました。

3. クロール失敗: クロール失敗の原因はさまざまです。オフィスでは問題なくウェブサイトにアクセスできても、Baidu スパイダーで問題が発生することがあります。サイト側は常に注意を払い、さまざまな時間や場所でウェブサイトの安定性を確保する必要があります。

4. クォータ制限：アクティブプッシュクロールのクォータを徐々に緩和していますが、サイトページ数が突然爆発的に増加した場合、クロールと高品質リンクの収集に影響を及ぼします。したがって、安定したアクセスを確保することに加えて、ハッカーの侵入を防ぐために、サイトはウェブサイトのセキュリティにも注意を払う必要があります。