モバイルサイトがGoogleにクロールされない７つの理由
1.IPを許可していない。
モバイルサイトなので、3キャリア以外のIPを制限してしまっている。
2.被リンクが少ない。
被リンクが少ない。全くないので、サイトの存在にGoogleさんが気付けない。
3.Googleが忙しい
Web上にある全てのサイトなんてクロール出来ない。
それはGoogleさんがちゃんと言ってます。
クロールされない（または Google のインデックスに登録されない）ページがある - ウェブマスター ツール ヘルプ
http://www.google.com/support/webmasters/bin/answer.py?hl=jp&answer=34441
Google のインデックスには数十億ものウェブページが登録されています。Google では登録するページ数を増やすべく努力をしていますが、各サイトのすべてのページがクロールされるとは限りません。Google は、ウェブ上のすべてのページをクロールしているわけではなく、クロールしたすべてのページをインデックスに登録するわけでもありません。サイトの一部のページがインデックスに登録されていないとしても、それはごく普通の状態です。
4.Googleに嫌われている
僕にも好き嫌いってあるんですけどGoogleにも好き嫌いがあるようです。
ウェブマスター向けガイドライン - ウェブマスター ツール ヘルプ
http://www.google.com/support/webmasters/bin/answer.py?answer=35769
5.Googleがウソを付いている
一応、GoogleのモバイルクローラーのIP情報が公開されてるんですけど
モバイル用マークアップ言語で作成したコンテンツをサイトで提供している場合、 Google のモバイル クロールでコンテンツがクロールされるようにするにはどうすればよいですか。 - ウェブマスター ツール ヘルプ
http://www.google.com/support/webmasters/bin/answer.py?answer=34647&hl=ja
Google のモバイル クロールでは以下の IP アドレス帯域を利用します。
?72.14.199.0/25 (72.14.199.0 - 72.14.199.127)
?209.85.238.0/25 (209.85.238.0 - 209.85.238.127)
と記載されてるので、みなさん鵜呑みにしてモバイルのIPとこれをホワイトリストに入れて、
IP制限をかけてると思います。僕もそうです。
ただねこれよく見てくれたらわかるとおもうんですけど、
この情報は予告なく変更される可能性があります。また、この IP アドレス帯域以外からのクローラーアクセスがないことを保証するものではありません。また、この IP アドレス帯域はデスクトップ向けウェブクローラーとは共有されません。
ってね。
これ以外からも行っちゃうよー勝手に変えたりするよーって言ってますよね。
でまぁ全然僕もクロールしてくれなくて困っててふとアパッチのログみたんですよ。
72.14.199.134 - - [29/Jul/2010:05:35:05 +0900] "GET / HTTP/1.1" 403 220 "-" "DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"
209.85.238.242 - - [25/Jul/2010:18:19:30 +0900] "GET / HTTP/1.1" 403 220 "-" "DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"
おやおや。違うやないか。
とまぁ一応このIPもGoogleさんの所有物みたいなので
72.14.199.0/24
209.85.238.0/24
にホワイトリストを変更しときました。
７つの理由とかゆってますけどこれが言いたかっただけなので、
７つ理由言ってないけど思いつかないのでここでヤメます。
