AIが読みに来るのを、うっかり止めていませんか?
結論
サイトの入口には「どのプログラムが読みに来てよいか」を書いた小さなファイルがあります(robots.txt)。 ここでAIの検索用プログラムを断っていると、そのAIの回答には出ません。 学習だけを断って検索用は通す、という書き分けができます。
根拠の強さ:●●●● 公式仕様に基づく(この表示は、やる価値の確からしさであり、効果の保証ではありません。)/ 読了 3分/ 確認日 2026-09-23
何のファイルの話か
サイトの入口には、robots.txt という短いテキストのファイルが置けます。
「このプログラムは読んでよい/読まないでほしい」を書く、いわば受付の貼り紙です。
強制力のある鍵ではなく、各社が「従います」と公表しているお約束です。
なぜ止まってしまうのか
悪意で止めているケースはまれです。多いのはこの3つです。
- サイトを作ったときの初期設定のまま(公開前に全部断る設定が残っている)
- 「AIに学習されたくない」と考えて、まとめて全部を断った
- サーバー側やセキュリティの設定で、見慣れない名前のアクセスをまとめて遮断した
2番は判断としては自然ですが、検索用まで一緒に断つと、答えに出てほしい場面でも出られません。 OpenAI は、検索用のプログラムを止めているサイトは ChatGPT の回答に出ない、と公式に説明しています。
確かめ方
- ブラウザで
https://(自社のドメイン)/robots.txtを開く Disallow: /という1行があれば、そこで指定されたプログラムは全部断っています- 用途ごとの名前(検索用・学習用)は各社の公式ページに載っています。名前も仕様も変わります
自分で判断がつかないときは、この記事を制作会社に見せて 「AIの検索用は通して、学習用だけ断りたい」と伝えるのがいちばん早いです。
気をつけること
- 止めるのをやめても、すぐに答えに出るとは限りません。まず読みに来てもらう必要があります
- 断りの設定に必ず従うとは限らないプログラムもあります(そう公表されています)
- 本当に見せたくないページは、この貼り紙ではなく、パスワードなどで守ってください
言い換え表
| よく見る言葉 | この記事での言い方 |
|---|---|
| robots.txt | 読みに来てよいかを書いたファイル |
| User-agent | 読みに来るプログラムの名前 |
| Disallow | 読まないでほしい、という指定 |
診断ではここを見ています
この記事の内容は、無料診断の判定項目で確かめています。御社のサイトで確かめる(無料診断)
関連記事
出典
- OpenAI 公式(Publishers and developers FAQ/Bots)(OpenAI)
https://developers.openai.com/docs/bots 確認日 2026-09-22
検索用を止めているサイトは ChatGPT の回答に出ない、と公式が説明 - Anthropic 公式(Claude が読みに来るプログラムの説明)(Anthropic)
https://support.anthropic.com/en/articles/8896518 確認日 2026-09-22
提供元自身の説明で、仕様は予告なく変わる。 - Google 検索セントラル「AI features and your website」(Google)
https://developers.google.com/search/docs/appearance/ai-features 確認日 2026-09-22
Google 自身の説明であり、第三者の検証ではない。他社のAIには当てはまらない可能性がある。
御社のサイトでは、どうなっているか。
URLと会社名を入れると、AIが御社をどう答えるかを無料で調べます(A4一枚・0円)。