Yin Tao の紹介: Baidu で上位ランクを獲得するには、robots ファイルをどのように記述すればよいでしょうか?

Baidu で上位にランクするには、robots ファイルをどのように記述すればよいですか? SEO を信じる友人は、オンラインになる前にロボットのルート ディレクトリ内のファイルに関する契約書を作成する必要があることを知っています。

Baidu で上位にランクインするためのロボット ファイルの書き方

ロボットとは何ですか?

Baidu スパイダーが Web サイトにアクセスすると、まず Web サイトのルート ドメインの下に robots.txt というプレーン テキスト ファイルがあるかどうかを確認します (このファイルは、スパイダーが Web サイトをクロールするときにアクセスする必要があるファイルです)。このファイルは、Web サイト上のスパイダーのクロール境界を示すために使用されます。

robots.txt ファイルを変更しないと、スパイダーは Web サイトをクロールするときにバックエンドをクロールします。 JS ファイルと CSS ファイルを含めると、スパイダーに対して Web サイトが透明になります。

背景をクロールするとどのような結果になりますか?理解できない友人の中には、

スパイダーがウェブサイトのバックエンドをクロールする場合、ウェブサイトのバックエンドの場所が含まれます。

その後、Baidu で検索すると、検索エンジンがあなたの経歴検索を除外する可能性があり、その結果は想像に難くありません。ちょっとしたハッキン​​グスキルを持つ友人なら、数分でバックエンドに侵入できます。怖くないですか?

ロボットの一般的な形式

User-agent:* はブロックされた検索エンジン名を定義します。 Baidu（Baiduspide）、google（Googlebot）、360（360Spider）など。

*はすべての検索エンジンを表します

許可しない: クロールとインクルードを許可しない

たとえば、背景の名前がdedeなので、スパイダーがそこを訪れないようにしたい場合は、次のように記述します: /dede/

「/」と「/」は完全一致です

「/」は単純な一致

「$」は行末文字に一致します

「*」は0文字以上の文字に一致します

許可する（クローリングを許可する、通常は書かず、ただ認めるだけ、もちろん、特別な要件がある場合は書ける）

#: 説明注釈

知識をアップグレードする

ディレクトリのクロールをブロックする

ルート ディレクトリの下の inc フォルダーとそのすべての内容、およびルート ディレクトリの下の wap ディレクトリの下の index.html ファイルをスパイダーがクロールするのをブロックします。

robots.txt の書き方:

ユーザーエージェント:*

Disallow:/inc/ (inc フォルダ内のコンテンツのクロールを禁止する)

Disallow:/wap/index.html (wap ディレクトリ内の index.html ファイルのクロールを禁止する)

ディレクトリをブロックするが、その下のファイルを取得する

1. ルートディレクトリの下の wap フォルダをクロールするスパイダーをすべてブロックしますが、その中に html というサフィックスが付いたファイルはクロールします。

robots.txt の書き方:

ユーザーエージェント:*

Disallow:/wap/ (wap フォルダ内のコンテンツのクロールを防止)

Allow::/wap/*.html (wap の下にある html というサフィックスを持つファイルのクロールを許可します)

2. ルートディレクトリ内の「wap」文字を含むすべてのフォルダとファイルのクロールを防止します。ここでは、(/normal match) 書き込み方法を使用する必要があります。

ユーザーエージェント:*

Disallow:/wap (「/」は 1 つで問題ありません)

3. プライベートフォルダやファイルを保護する

検索エンジンが特定のプライベートフォルダをクロールするのを防ぐと同時に、ウェブサイトのディレクトリ構造を反映し、ウェブサイトのバックエンド処理システム、背景などを推測します。 （通常のウェブサイトでは基本的に使用されませんが）重要なファイルを保護するためには、広い書き込み方法を使用する方がよいでしょう。

たとえば、/inli のクロールを防ぐには、次のように記述します。もちろん、前提として、スパイダーがクロールするルート ディレクトリ内に、これらの文字の前にあるフォルダーやファイルが存在しない必要があります。

ユーザーエージェント:*

禁止:/inli

動的URLをブロックする

動的ページが静的ページと同じである場合があり、その結果重複して含まれることがあります。 （クモの友好度に影響します）

動的URLをブロックする

ユーザーエージェント:*

許可しない: /*?*

「.html」という接尾辞を持つURLのみアクセスが許可されます

ユーザーエージェント:*

許可:.html$

許可しない:/

デッドリンクをブロックする

壊れたリンクをBaiduウェブマスタープラットフォームに送信する

ロボットはスパイダーが壊れたリンクをクロールするのを防ぎます。書き方は上記と同じなので、完全なパスを含める方が良いでしょう。

ユーザーエージェント:*

許可しない: (ウェブサイトのドメイン名)

Baiduランキングに含まれていないページへのリンクをブロックする

書き方：

Baiduランキングを必要としないページリンクに直接nofollow注釈を追加します

>arel="nofollow" href="ウェブサイトの場所" <landing>/a<

robots.txt 内のサイトマップ インデックスの場所

sitamap (ウェブサイト マップ) を配置する最適な場所は robots.txt の下であり、スパイダーは上記の原則に従って最初にそこをクロールします。

サイトマップ: 「Web サイトの場所」+「sitemap.xml」

サイトマップ: 「ウェブサイトの場所」+「sitemap.html」