ハッカドール

ハッカドールでの配信を希望しない場合の設定方法について

ハッカドールでは、ユーザ嗜好に合致した検索結果を表示するため、ユーザーエージェント "Hackadollbot" を利用し公開されているWebページのクローリングを行っています。

※完全なユーザーエージェントは "Hackadollbot/1.0" です。

以下のいずれかの方法により、Webページがハッカドール(Hackadollbot)にクロールまたはインデックスされないようブロックすることが可能です。

1. robots.txt でのブロック設定

ブロックしたいWebページがホストされているドメインのルート上にrobots.txtファイルを設置し、Disallowルールを設定してください。

記載例:

User-agent: Hackadollbot
Disallow: /

※複数のクローラーへの除外設定をしていたり、複雑な設定を行っている場合、他のクローラーと解釈が異なる場合出来ない場合があります。

2. metaタグでのブロック設定

クローリングをブロックしたいWebページのHTMLにおけるメタタグに、noindex指定を利用することで、Webページのインデックスをブロック可能です。

記載例:

<!DOCTYPE html>
<html>
<head>
    <meta name="robots" content="noindex">
</head>
<body>
(...)
</body>
</html>

3. X-Robots-Tag HTTP ヘッダーでのブロック設定

クローリングをブロックしたいWebページのHTTPレスポンスにX-Robots-Tagにnoindexを指定することで、Webページのインデックスをブロック可能です。

これは特に画像などのHTML形式でないコンテンツをブロックするときに有効です。

記載例:

HTTP/1.1 200 OK
Date: Mon, 21 Nov 2016 11:02:04 GMT
(...)
X-Robots-Tag: noindex
(...)

上記設定を行ってもクローリングが停止されない場合や、ご不明な点がある場合は、下記よりお問い合わせいただけますようお願いいたします。
https://web.hackadoll.com/contact