Information
日記
G-ZONEのメインコンテンツとは関係のない日々を綴ったX-Virusの日記です。メインコンテンツが更新されていない時、X-Virus が何をしているか、ここを読んでもらえれば分かるように・・・というより、自分が何をしようと目論んでいるかといった備忘録として使う予定です。
-- 2007-03-02
Googlebot にちょっと興味が出たので、昨日に続いて G-ZONE のアクセスログの話。
ログを見ると２種類のロボットがクロールしている様子が伺える。ここで Google で Googlebot を検索すると、大別すると２種類、全部で３種類に分類されてそれぞれ役割があるらしい。大きくは、ＰＣ向けのコンテンツを探す Googlebot。それと携帯サイト向けコンテンツを作成する Googlebot-mobile。Googlebot-mobile は、さらに chtml コンテンツ用と xhtml コンテンツ用があるという。
G-ZONE ログにある Googlebot-mobile は、Nokia6820/2.0 と入っているので xhtml コンテンツ用ということになる。Nokia の公開されているブラウザの仕様に従ってクロールしているということだろう。問題は、Googlebot-mobile のクロールが 27日11時頃から28日18時頃までの間に、異常なまでに集中してきていることだ。この間にクロールした総ベージ数は、G-ZONE のサイトだけで5000ページ以上になる。特に27日の昼頃は、１秒に１度の間隔でクロールされた。Google からのアクセスじゃなかったら、拒否したくなる頻度だ。これが、先日のプログラム修正をする原因の一旦を担っているのかもしれない。良い勉強になった。
Googlebot-mobile は、その後アクセスしてくる気配がない。満足したらしい（笑。一方 Googlebot は、数十秒に１度の頻度でクロールしている。ところでクロールと書いたけれど、Google の言うところのクロールは「サイトをアクセスして読み込む」ことではないらしい。その後、コンテンツとして整理されて初めて「クロール」と言うようだ。どうもこの辺の用語が、自分の中では消化されていない。さらに興味がわいてきた。