SEO ウェブサイト最適化担当者にとって、サイトマップ、H1、ALT タグ、404、301 など、ウェブサイトのあらゆる細部が重要であり、最適化する必要があります。上記の項目についてはすでに説明しました。今日は、編集者のDongguan SEO Feng Chao がロボットについて説明します。ロボットとは何ですか? ロボット ファイルはどのように作成しますか? ロボットとは何ですか? ロボット プロトコル (クローラー プロトコル、ロボット プロトコルなどとも呼ばれる) の正式名称は、「ロボット除外プロトコル」です。Web サイトはロボット プロトコルを使用して、どのページをクロールできるか、どのページをクロールできないかを検索エンジンに伝えます。 Robots ファイルの書き方は? まず、サイトのルート ディレクトリに robots.txt テキスト ファイルを作成します。検索スパイダーがこのサイトにアクセスすると、まずサイトのルート ディレクトリに robots.txt があるかどうかを確認します。存在する場合、検索スパイダーはまずこのファイルの内容を読み取ります。 ファイルの書き込み ユーザーエージェント: * ここで * はすべての検索エンジンの種類を表し、* はワイルドカードです 禁止: / この定義は、サイトのすべてのコンテンツのクロールを禁止します 禁止: /admin/ この定義は、adminディレクトリの下のディレクトリのクロールを禁止します 禁止: /ABC/ この定義は、ABCディレクトリの下のディレクトリのクロールを禁止します 禁止: /cgi-bin/*.htm は、/cgi-bin/ ディレクトリ (サブディレクトリを含む) 内のサフィックスが ".htm" であるすべての URL へのアクセスを禁止します。 Disallow: /*?* は、ウェブサイト上の疑問符 (?) を含むすべての URL へのアクセスを禁止します。 Disallow: /.jpg$ は、Web ページ上のすべての .jpg 形式の画像のクロールを禁止します。 Disallow:/ab/adc.html ab フォルダーの下の adc.html ファイルをクロールすることは禁止されています。 許可: /cgi-bin/ この定義は、cgi-binディレクトリの下のディレクトリのクロールを許可します 許可: /tmp この定義はtmpディレクトリ全体のクロールを許可します 許可: .htm$ 「.htm」で終わる URL のみアクセスが許可されます。 許可: .gif$ はウェブページと gif 形式の画像のクロールを許可します サイトマップ: サイトマップは、このページがサイトマップであることをクローラーに伝えます。 以下に、有名な検索エンジン スパイダーの名前を挙げます。 Google のスパイダー: Googlebot Baidu のスパイダー: baiduspider 360スパイダー: 360スパイダー SOGOU のスパイダー: Sogou web spider/4.0 および Sogou inst spider/4.0 上記の指示に従って、編集者の Dongguan SEO Feng Chao がケースリファレンスを提供します。360 の場合、クロール禁止の robots.txt コードは次のように記述されます。 ユーザーエージェント: 360spider 禁止: /goods.php 禁止: /category.php この記事を読んだ人は次の記事も読んでいます: ロボットの作り方は? ロボットの書き方は? デッドリンクとは何ですか?ウェブサイト上のリンク切れをどう対処すればいいですか? 404 ページとは何ですか? 404 ページを設定するにはどうすればいいですか? |
<<: デッドリンクとは何ですか?ウェブサイト上のリンク切れをどう対処すればいいですか?
>>: SEO初心者は検索エンジン最適化をどのように行うべきでしょうか?
人民日報、リオデジャネイロ、3月21日(李暁暁)ブラジル上院が20日にブラジル政府が提出した公共災害...
Baidu Mini Programsは最近急速に発展しています。オンラインになってからわずか4か...
インターネットでは、トラフィックを扱う人のほとんどはユーザーを操作する方法を知らず、ユーザーを理解し...
ウェブサイトの最適化を行うときは、理論と実践を組み合わせて実践的である必要があります。そうしないと、...
Weibo は、膨大なユーザーベースを擁する、最も人気があり活発なソーシャル メディアおよびコンテ...
2020年上半期の流行の影響を受け、教育業界はオンラインコースに切り替え、さまざまなライブ授業、録...
劉麗がMango TVとの契約を一方的に解除したのはなぜですか?具体的な状況はどのようなものですか?...
邯鄲市でおもちゃのミニプログラムの代理店になるにはいくらかかりますか?各社は省、市、郡ごとに代理店レ...
今日頭条と百度の間で必然的に戦いが起こるだろう。彼らのターゲットは、検索広告に次いで最も価値のある市...
タイトル通り、2021年が過ぎ、2022年を迎えます。過去1年間、Baiduの「ocpc」検索は依然...
現在、飲酒運転に対する国の取り締まりはますます厳しくなっており、特に春節期間中は厳しくなっています。...
Meituan Takeoutがフードデリバリー業界の主要プレーヤーとなったため、DouyinもX...
過去 1 年ほどの間に、アルゴリズム配信の急激な増加は、モバイル情報業界における最も重要な破壊的勢力...
私たちは、ユーザーの個人的な行動レポートを通じて製品の価値を反映し、自分の過去の行動を知りたいという...
5月に入ると、晩春の優しさと初夏の情熱が絡み合い、4月の霧雨が空の霞を洗い流し、活気に満ちた季節が到...