ここ数日、アクセス解析でやたら凄い勢いでアクセスがかかっており「何が起こったんだ?」と思っていました。
「Google Analytics」では記録されていないので、クローラーかと思って先ほどログを調べてみたら、「become.com」というところから連続でアクセスが来ていました。
どうも来ているのは検索用のクローラーらしいのですが、他のクローラーと違ってREFERRERを大量に残していきます。
そのせいで、アクセス解析のログを膨大なサイズにしている。
さらに、ユーザーエージェントが「Mozilla/5」になっている。本家サイトでは、ユーザーエージェントは「BecomeBot」と書いてあるのに。
□Become: Site Owners
(Q: How can I prevent Become.com from crawling my site?)
http://www.become.com/site_owners.html うーん。
アメリカのショッピングサイトのようですね。
「become.com」について調べている時に、IPアドレスが「64.124.85.0 - 64.124.85.255」という情報を見つけたので、とりあえず、アクセスを排除をしておこうと思います。
□ウェブマスターフォーラム - クローラの情報
http://forum.su-jine.net/theme/seo/58/ 少し様子見です。