キャリアごとのクローラ－

この記事はアピリッツの技術ブログ「DoRuby」から移行した記事です。情報が古い可能性がありますのでご注意ください。

先日、自分が見ているサイトのあるページのアクセス数を見てたら、極端にアクセス数が増えてるページがあって、「何だろう…」と思ってちょっと調べてみたら、

「i-robotなんちゃら」っていうアクセスが10000近く。。。これは何だろうと調べてみたら、「モバイルのクローラ－」だそうで、、、

各キャリアごとにどんなクローラ－があるのか、ちょっと眺めてみると

■DoCoMo
・i-robot
トップページ（ドコモに申請した際に着地用に設定したページ）からクローラ－が行けるページならどこまでも見に行くみたいで、さらに日によって気まぐれなのかアクセス数が2ケタの日もあれば、その100倍になったりするときもあります。。。

■au
・KDDI-Googlebot-Mobile
いろいろ調べてみると公式サイトのみ見に来るらしい。でも、アクセスはトップページのみっぽいし、だいたい決まった時間に訪問しに来ます。

■SoftBank
・Y!J-SRD/1.0
・Y!J-MBS/1.0
こちらもアクセスは1日1回くらいで、だいたい決まった時間に来てくれてるみたいです。J-SRDはたまにトップ以外も見てるけど何か違いがありそう…

他にもGooglebot-Mobile（Googleモバイル。結構頻繁に遊びに来る）とか、SoftBankMobileSearch（Yahooｹｰﾀｲ）等のクローラがあるようです。しかし、他にも見慣れないクローラがアクセスしに来ていたりします。

アクセス数を自前で集計するような機能を作ってる際は、このクローラ分も考えて作らないとかなりの誤差が出るのかと改めて痛感しました。。。