Robots とは何ですか? Robots ファイルをどのように記述しますか?

SEO ウェブサイト最適化担当者にとって、サイトマップ、H1、ALT タグ、404、301 など、ウェブサイトのあらゆる細部が重要であり、最適化する必要があります。上記の項目についてはすでに説明しました。今日は、編集者のDongguan SEO Feng Chao がロボットについて説明します。ロボットとは何ですか? ロボット ファイルはどのように作成しますか?

ロボットとは何ですか?

ロボット プロトコル (クローラー プロトコル、ロボット プロトコルなどとも呼ばれる) の正式名称は、「ロボット除外プロトコル」です。Web サイトはロボット プロトコルを使用して、どのページをクロールできるか、どのページをクロールできないかを検索エンジンに伝えます。

Robots ファイルの書き方は？

まず、サイトのルート ディレクトリに robots.txt テキスト ファイルを作成します。検索スパイダーがこのサイトにアクセスすると、まずサイトのルート ディレクトリに robots.txt があるかどうかを確認します。存在する場合、検索スパイダーはまずこのファイルの内容を読み取ります。

ファイルの書き込み

ユーザーエージェント: * ここで * はすべての検索エンジンの種類を表し、* はワイルドカードです

禁止: / この定義は、サイトのすべてのコンテンツのクロールを禁止します

禁止: /admin/ この定義は、adminディレクトリの下のディレクトリのクロールを禁止します

禁止: /ABC/ この定義は、ABCディレクトリの下のディレクトリのクロールを禁止します

禁止: /cgi-bin/*.htm は、/cgi-bin/ ディレクトリ (サブディレクトリを含む) 内のサフィックスが ".htm" であるすべての URL へのアクセスを禁止します。

Disallow: /*?* は、ウェブサイト上の疑問符 (?) を含むすべての URL へのアクセスを禁止します。

Disallow: /.jpg$ は、Web ページ上のすべての .jpg 形式の画像のクロールを禁止します。

Disallow:/ab/adc.html ab フォルダーの下の adc.html ファイルをクロールすることは禁止されています。

許可: /cgi-bin/ この定義は、cgi-binディレクトリの下のディレクトリのクロールを許可します

許可: /tmp この定義はtmpディレクトリ全体のクロールを許可します

許可: .htm$ 「.htm」で終わる URL のみアクセスが許可されます。

許可: .gif$ はウェブページと gif 形式の画像のクロールを許可します

サイトマップ: サイトマップは、このページがサイトマップであることをクローラーに伝えます。

以下に、有名な検索エンジン スパイダーの名前を挙げます。

Google のスパイダー: Googlebot

Baidu のスパイダー: baiduspider

360スパイダー: 360スパイダー

SOGOU のスパイダー: Sogou web spider/4.0 および Sogou inst spider/4.0

上記の指示に従って、編集者の Dongguan SEO Feng Chao がケースリファレンスを提供します。360 の場合、クロール禁止の robots.txt コードは次のように記述されます。

ユーザーエージェント: 360spider

禁止: /goods.php

禁止: /category.php

この記事を読んだ人は次の記事も読んでいます:

ロボットの作り方は？ ロボットの書き方は？

デッドリンクとは何ですか?ウェブサイト上のリンク切れをどう対処すればいいですか?

404 ページとは何ですか? 404 ページを設定するにはどうすればいいですか?