クロゲ系サイトの対策についてまとめみた
最近また作る人増えてきたような気がするので。
Googlewebマスターサイトで自分のサイトの状況をチェック。
https://www.google.com/webmasters/tools/
追記:Yahooはこちらのようです。
https://login.yahoo.com/config/login_verify2?.src=siteex&.intl=us&.done=https%3A%2F%2Fsiteexplorer.search.yahoo.com%2Fmysites
No Need Robot Clubロボット型検索エンジンへの対応方法
著作権に絡んで某Jが違法ＭＰ３サイトの告発に乗り出していることを知られている人もいるでしょう。
その主だった方法は、違法ＭＰ３サイト開設者に対しての警告とプロバイダに対しての協力要請。
某が独自のロボットを使って情報を収集しているらしい。
これに対して、情報の収集を阻害することは可能でしょう。
某Jは独自に検索エンジンを持ってて回収調査してます。
- なるべくマニアックなファイルフォーマットを使う。
7zとかyz1とか。あとPasswordを掛けると良いです。
簡単/高速/高圧縮アーカイバDeepFreezer
http://www.01-tec.com/DeepFreezer/
7-Zip
http://www.7-zip.org/ja/
- SEOサイトを参考にして、逆の方向に最適化
だから、なるべくアフィサイトにはリンクして欲しくない。
ふつうにランクが上がるので。
なるべくブログの紹介でなくて、口コミの方向で
広まってくれると良いですけど。紹介も大手でなければOK。
はてブとかもだめなんですけどねえ。（汗
- robots.txtを上げる
User-Agent: *
Disallow: /
とか書いて上げると来なくなります。
- METATAGを張る。
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
とか書けばよいです。
とかに。- .htaccessを使う。
対応してる無料レンタルサイトは少ないですが色々できます。
メモ帳等を用意して、できたら拡張子表示して
変更してください。
あと、pass表示でないと入れないサイトとかも作れます。
ミケネコの htaccess リファレンス http://mikeneko.creator.club.ne.jp/~lab/web/htaccess/
を読みながら対策してください。
SetEnvIf Referer "^http://www\.google\.co.jp/" ref_ng
SetEnvIf Referer "^http://www\.google\.com/" ref_ng
SetEnvIf Referer "^http://search\.yahoo\.co.jp/" ref_ng
SetEnvIf Referer "^http://search\.goo\.ne.jp/" ref_ng
SetEnvIf Referer "^http://cgi\.search\.biglobe\.ne.jp/" ref_ng
SetEnvIf Referer "^http://search\.msn\.com/" ref_ng
SetEnvIf Referer "^http://www\.baidu\.com/" ref_ng
SetEnvIf Referer "^http://www\.excite\.co.jp/" ref_ng
order allow,deny
allow from all
deny from env=ref_ng
ErrorDocument 403 http://search.yahoo.co.jp/
と書けばサーチエンジンからの検索は防げます
- ボット対策
SetEnvIf User-Agent "Googlebot" BadRobot
SetEnvIf User-Agent "Slurp" BadRobot
SetEnvIf User-Agent "msnbot" BadRobot
と書けばbotからの検索が防げます。
Slurpは、Yahoobotのサーチエンジンボットです。
とまとめてみた。
