あなたのサイトにロボットは来ていますか？

Nucleusを使っているとrobotがこないというような話はちらほら目にします。そうすると、話がすぐにNucleusは動的生成なので不利だとか、FancyよりもMagicalの方がいいだとか、If-Modified-Sinceに対応していないとダメだとかすぐにテクニカルな話になってしまう傾向があるようです。

でもテクニカルな部分云々以前にSEOには大事なことがあるわけ^*1です。それさえ守れば動的生成だろうと、Fancyだろうと、きちんとロボットはサイトをクロールしていくというのが、僕が２年間サイトを運営していて導かれた真実です。ちなみにこれは、Nucleus以外で作られたサイトについても同様です。

もちろんここでもYahoo! Site Explorerに登録したりとか、GoogleSitemapsのスキンを作って登録とかしたりとかしていますけど、あくまで気休めです。実際にこれらによってクロールの頻度が変化したということはありません。

論より証拠ということで、参考までにこのサイトの今月の今日までのロボットのアクセス状況を載せてみましょう。

† 今月のロボットの巡回状況

以下が今月のロボットのアクセス状況です。たぶん、初公開。

Yahoo!からは今月の累計で256,952のクロールがあります。一日平均すると、256,952÷19で13,523となります。ちなみにGoogleは89,010なので、一日平均は89,010÷19＝4,684となります。ずいぶん多いと思われる人もいるかもしれませんが、きちんとクロールが行われているサイトであれば一日中ロボットが来ているというのは普通のことです。

† ロボットが来すぎて負荷が高い場合

あと、一日数百回ロボットが来たのでロボットをアク禁にしたみたいな話も聞きますが、ちゃんとしたサイトであればロボットはこれくらいのアクセス頻度になるものだということは認識すべきかと思います。

それがサイトの負荷的に問題になるようであれば、Yahoo!の場合はrobots.txtにロボットのクロールの待ち時間を指定してやることで回避することができます。

robots.txtの例 (Yahoo!のロボット対策)

上記の例の場合、クロールは20秒の間隔をおいて行われるようになります。自分のサイトが動的ページの場合には5～10位に設定しておくと安全です。あまり大きくしすぎると、時間当たりにクロールされるページが少なくなるのでバランスを考える必要があります。

• ^*1: 端的にいえば、良質のコンテンツを定期的に供給するということです。ここが良質なのかといえばその保障はできませんが（笑）