ボットの種類と実際の応答を確認し、必要な箇所だけ調査します。
Perplexityの回答に自社ページが現れなくても、その画面だけではサイト側が取得を拒否したかは分かりません。まず対象URLと起きた現象を記録し、既存の公開設定やログで確認できる範囲を調べます。本記事は取得できない疑いの切り分けに絞り、引用回数を増やす方法や表示までの期間を約束するものではありません。
この記事の目次
1. 質問・URL・確認時刻を一組で残す
最初に、回答にリンクが出なかったのか、指定したURLを読めないと表示されたのか、古い情報が示されたのかを分けます。異なる現象をすべて「ボットに拒否された」と扱うと、関係のない設定まで変更しかねません。
確認用のメモには、対象の完全なURL、確認日時と時間帯、実際に入力した質問、表示された内容を残します。会社のトップページではなく、取得を確認したいサービスページや記事を特定します。自社のブラウザーで表示できることも記録しますが、それだけでボットにも同じ応答が返ったとは判断しません。
現象を記録する
質問とURLを固定し、回答がないのか、取得エラーなのかを区別します。
既存の設定とログを照合する
robots.txt、ボットの種類、接続元、応答、WAFの判定を確認します。
必要な修正だけ依頼する
拒否した場所や不足する記録を特定し、変更範囲と確認方法を管理担当者へ渡します。
この順番は、公式のボット説明を踏まえたこの記事の診断手順です。Perplexityが検索回答を作る流れや他サービスとの比較は、Perplexityの仕組みを整理した記事で扱っています。
確認するURLを、読者が見ている表記と合わせる
対象を記録するときは、検索結果に出たURL、利用者が指定したURL、自社のブラウザーで最後に表示されたURLを分けて書きます。記事が別のページへ移動していたり、古いリンクが残っていたりすると、同じページを調べているつもりでも入口が違います。ドメインや末尾のパスが一致しているか、ページの題名だけで判断しないことを提案します。
問い合わせでは、トップページのURLだけを伝えず、問題を確認したページを示します。サービスの条件が古いという話なら、その条件を現在載せているURLも添えます。会社名だけでは、公式ページ、過去の記事、外部の紹介ページのどれを取得したかを絞れません。どの情報を読むはずだったかが明確になると、設定とログを照合する担当者も対象を選べます。
症状の記入見本:引用がない場合と取得失敗の場合
見本Aは「一般的な質問をしたところ、回答に自社へのリンクがなかった。取得エラーの表示は見ていない」です。この記録だけなら、サイトの拒否を断定せず、取得した証拠があるかを次に調べます。見本Bは「自社URLを指定した操作でページを読めないという応答が出た」です。こちらは、その操作の時刻とURLに対応する接続の記録を確認する対象になります。いずれも実在の調査結果ではありません。
見本Cは「回答には古い営業時間が出た。参照先のリンクは別の紹介ページだった」です。この状態を、公式サイトが取得を拒否したためだと決めることはできません。公式ページを点検する仕事と、回答で使われた別ページの情報を確認する仕事を分けます。別サイトを自社で編集できるとは限らないため、参照元を確かめずに自社の設定だけを変えないようにします。
記入した時刻には、端末の表示時刻と時間帯も残します。管理会社のログが別の時間帯で記録されていると、同じ数字の時刻を探しても一致しません。調査依頼を受けた人が、どの時間帯を照合したかを説明できるようにしておくと、「その時間に記録がない」という回答の範囲も明確になります。画面写真を付ける場合は、利用者の非公開情報が写っていないかを確認します。
以前の成功画面がある場合も、今回の記録を分ける
以前はページが引用されていたという控えがあっても、今回の取得状態まで同じとは限りません。比較に使うなら、その画面の日付、質問、参照URLを残し、現時点の観測と分けます。過去の一回の掲載を継続掲載の証明にしたり、今回は表示がないことだけでサイトの拒否が始まったと判断したりしないようにします。前後で何を変えたかが分かる場合は、変更の一覧も調査担当者へ渡します。
2. robots.txtの対象と、取得の目的を照合する
公式資料は、検索でページを見つけてリンクするPerplexityBotと、利用者の要求に応じた取得を支えるPerplexity-Userを分けています。Perplexity-Userは通常の自動巡回とは異なり、一般にrobots.txtを無視すると案内されています。両者を同じ動作と決めつけないことが出発点です。Perplexityのクローラー公式資料で用途を確認します。
設定ファイルは、そのURLに関係するルールを見る
サイトの管理担当者には、実際のrobots.txtと対象パスについて、PerplexityBot向けの許可・拒否を確認してもらいます。他のボットに対する設定があるだけで、このボットにも同じ設定が適用されているとは考えません。現在の設定を控えずに、全ボット向けの制限をまとめて外さないようにします。
検索への掲載を希望する場合の公式案内は、robots.txtと公開IP範囲からのリクエストを許可することです。ただし、許可したという設定と、そのページが実際の回答に引用されたことは別に確認します。設定の保存だけで掲載完了とは報告しません。
ボット名の違う記録を、一つの成功としてまとめない
管理担当者からアクセスできていると報告されたら、その記録がPerplexityBotかPerplexity-Userかを確認します。公式資料が説明する目的は異なるため、一方の取得が見つかっただけで、もう一方も同じ状態だと埋めないようにします。報告にはボット名、対象URL、時刻、返した内容を添え、何のアクセスを確認したかを限定します。
robots.txtの調査では、担当者にファイル全体と対象パスの関係を見てもらいます。「AIを許可している」という説明だけでは、どのボットへどの範囲を許可したかが分かりません。すでに設定がある場合は、その設定を使う理由を確認してから変更を考えます。検索を希望するページ以外にも公開上の制限があるかもしれず、全体を同時に変更すると別の目的の制御まで外しかねません。
許可の説明を受けた後も、実際の接続を調べる
robots.txtの内容は方針を確認する資料になりますが、それを読んだという証拠や、その後にページを取得したという証拠とは分けて扱います。設定だけを見た調査なら、「対象パスの設定を確認した」と記録します。実アクセスまで調べた結果と混ぜず、次にどの記録が必要かを示します。
担当者が複数いる場合は、設定の控えに確認した日時を付けます。相談時には許可していても、別の作業で設定が変われば、その控えだけで現在の状態を説明できません。同時期の変更があれば、どの設定が問題を確認した時点で使われていたかを質問します。これは変更履歴の扱い方の提案で、Perplexityが過去のどの設定を保持しているかを推測するものではありません。
ここまででrobots.txtの対象を説明できない場合は、短い設定例をそのまま貼って解決しようとせず、管理担当者へ確認を戻します。サイト全体の方針と関係するため、手元の一ページの結果だけでは変更範囲を決められません。自社で設定できることと、その場で変更すべきことを分けるのが、この段階の判断です。
3. WAFの判定とサーバーの応答を同じ時刻で調べる
robots.txtが許可していても、別の場所でアクセスが止まっている可能性があります。管理会社に、対象時刻のCDNやWAFの記録とサーバーのアクセスログを照合してもらいます。必要なのは、対象パス、ユーザーエージェント、接続元IP、HTTP応答、適用された制御ルールです。
| 観測できたこと | 次に確認する場所 |
|---|---|
| WAFで拒否した記録がある | 一致したルールと、サーバーまで要求が届いたか |
| サーバーに取得の記録がある | 最終URL、HTTP応答、返した内容 |
| 該当する記録が見当たらない | ログの保存範囲、時刻のずれ、対象ホストやURL |
| ユーザーエージェントだけ一致する | 接続元IPを現行の公式公開範囲と照合 |
Perplexityは、WAFでユーザーエージェントと公開IP範囲の両方を合わせて確認する方法を示しています。名前だけを見て正規のアクセスと決めず、PerplexityBotの公式IP一覧など、その用途に対応する現行資料を参照します。IP一覧は更新されるため、古い控えだけで判断しません。
全体のセキュリティを解除しない
原因が未確定のままWAFを停止したり、ボット名だけで無制限に通したりしないでください。管理担当者と、確認できた正規の要求に必要な範囲を決めます。ログに記録がない場合も、取得を拒否した証明にはなりません。
拒否された場所を、配信経路に沿って分ける
CDNやWAFを使っているサイトでは、その手前で止まった要求が、サーバー側のログには現れない場合を考えて調べます。サーバーの記録がないという報告だけで要求自体がなかったと決めず、手前のサービスで確認できる記録があるかを聞きます。どの構成を利用しているかが不明なら、まず管理会社に配信の経路を説明してもらうところから始めます。
管理担当者への質問は、「この時刻の、このURLに対する要求は、どこまで到達しましたか」と具体化します。到達した場所が分かったら、拒否、認証、別URLへの移動、正常応答など、確認できた状態をそのまま記録します。原因の名称を先に付けるより、要求を受けた場所と返した応答を順に並べる方が、次の担当へ渡す資料になります。
ユーザーエージェントとIPは、組で確かめる
公式IP一覧と照合する際は、調べたボットに対応する一覧を使います。PerplexityBotの記録なのに別用途の一覧を使うと、照合したという説明だけが残ってしまいます。確認した一覧の参照先と日付を残し、ログにある接続元の情報と合わせます。本記事ではIPを固定値として転載せず、公式資料から現行の一覧を参照する形にしています。
接続元IPの見方が配信サービスによって分からない場合は、表示された文字列を自己判断で正規の接続元とせず、担当者へ確認します。必要なのは、どの記録のどの項目で照合したかが説明できることです。ユーザーエージェントが似ていることだけを理由に例外を広げたり、一覧を確認していないのに照合済みと報告したりしないようにします。
応答コードから、調査先を選ぶ
拒否を表す応答や認証画面が確認された場合は、該当する制御の担当へ渡します。要求が多いことを理由に制限された記録や、サーバー側の障害が見つかった場合は、同じ要求を連続して送って確かめるのを避け、記録と運用状況を確認します。一つの応答コードだけで、サイトのどの製品が原因かまで断定しないことが大切です。
正常な応答の記録がある場合も、そのURLと返した内容が目的のページかを次に確認します。別URLへの移動があったなら、移動先まで整理します。元のURLには接続できたが、最終的なページを返したかは未確認という状態も、まとめて成功にせず残します。取得の途中まで確認した記録を、回答への掲載確認へ飛ばさないための区切りです。
記録が見つからない場合の戻り先を決める
該当するログがない場合は、保存期間、対象ホスト、時間帯、記録される要求の範囲を確認します。たとえば、担当者が見ているのが一部のアクセスだけなら、そこにないことは全体にないことを意味しません。どの範囲を探したかを報告してもらい、調査できない部分があればその理由を残します。推測で拒否ルールを解除する代わりに、不足する証拠を明確にします。
ログを共有する際は、必要な対象の記録に絞ります。他の利用者のアクセス、認証情報、社内だけのURLなどが混ざっていれば、担当者と共有方法を決めます。調査結果の報告に必要なのは、照合の対象と結論が追えることです。生のログを全員へ送ることと、適切な証拠を残すことを同じ意味にしないようにします。公開用の報告書へ載せる内容は、内部調査用の資料と分けます。
4. 成功応答でも、返した本文まで確認する
アクセスの記録が見つかったら、応答コードだけで終わらず、要求先と最終URL、返されたページの内容を確認します。サイト側で保存している応答や管理者が確認できる範囲を使い、ログイン画面、エラー案内、アクセス確認の画面などを本文として返していないかを調べます。
たとえば、人が見たページと取得時の記録で内容が違うなら、どの層で差が生じたかが次の調査対象になります。JavaScriptやアクセス制御が原因だと先に決めつけるのではなく、差が確認できた箇所を担当者へ渡します。これは切り分けの例で、特定のPerplexityの描画仕様や評価方法を断定するものではありません。
一方、対象ページを正しく返した記録があるのに回答で使われない場合は、ここまでの調査では取得拒否の問題は確認できなかったと記録します。引用されない理由を、未確認のボット障害として報告しないことが大切です。
本文の照合では、変更前後の版を取り違えない
応答内容を調べるときは、対象ページのどの版と比べているかを決めます。今日のブラウザー画面と、更新前に取得された記録を比べても、差があることだけでは配信障害と判断できません。ページの更新日と接続時刻を並べ、同じ時点の情報を比較できるかを先に確認します。更新履歴がなければ、分からない範囲として扱います。
確認したい情報は、ページ全体の見た目より具体的に記録します。「サービス名と提供条件の段落が返っているか」「別のページの案内になっていないか」といった形です。管理者が確認できる応答で該当箇所を探し、画面に表示できたという報告だけで終わらないようにします。ここでの調査は情報を返したかであり、AIがその内容をどう評価したかの解析ではありません。
取得できた内容が違うときは、差のある箇所を渡す
人が見たページにはサービスの説明があるのに、対象の要求にはアクセス確認の画面が返っていると仮定します。この場合は、アクセス確認の画面を返した経路やルールを調べる依頼にします。本文が空だった場合も、なぜ空だったかを即断せず、返した内容と配信時点の状態を担当者へ渡します。いずれも診断の見本で、特定サイトで発生した実例ではありません。
ページに文章はあるが、必要な条件が載っていなかった場合は、取得の問題と原稿の問題を分けます。未掲載の情報をAIが読まなかったことを、クローラーの失敗とは呼べません。公式ページに何を公開するかは別の編集判断になるため、管理者へ確認する事項と、社内で事実を確定する事項を分けて整理します。
同じ内容を正しく返したことが確認できたら、その取得については結果を記録して区切ります。回答に使われるまでアクセス設定を繰り返し変更する必要があると、この記録だけからは言えません。原因が見つからないことを隠さず、「確認した要求では拒否なし、回答への使用理由は未確認」のように、観測の限界が分かる表現で報告します。
5. 管理会社へは、現象・証拠・確認依頼を分けて渡す
依頼のメモは「対象URLと確認日時」「起きた現象」「確認できた設定やログ」「まだ分からない点」の順にまとめます。記録がなければ、その時間帯のログが残っているかの確認から始めます。不要な連続アクセスや設定変更で確かめようとしないでください。
拒否ルールが特定できた場合は、変更前の控え、変更する対象、変更後に確認する応答を決めてから作業を依頼します。確認結果には、設定を変えたこと、取得の記録を確認したこと、回答に引用されたことを別々に残します。取得の確認までできた段階を、引用や推薦の保証に広げない形で調査を終えます。
管理会社へ渡す、調査依頼の記入見本
依頼文の見本は、「対象はサービス紹介ページです。URLを指定した際に取得できない旨の表示が出ました。確認日時と画面を添付します。robots.txtの対象設定、同時刻のWAF判定、サーバーの応答が確認できるかを調べてください。設定変更は、原因と変更範囲を共有してから相談したいです」という形です。具体的なURLと日時を入れ、非公開の情報を不用意に添えないようにします。
返答を受けたら、「調査したもの」「分かったこと」「未確認」「次に依頼すること」の順にまとめます。設定が許可だったことしか確認していないなら、アクセス実績の欄は未確認のままにします。WAFに拒否の記録があるなら、そのルールが対象URLの要求に一致したという説明を受けてから、修正する場所を検討します。
修正後は、同じ対象の確認に絞る
変更する場合は、変更前の設定を控え、対象と理由を決めます。修正後は、依頼した制御が意図どおりか、目的のURLへ何が返るかを確認します。想定外のページにも影響が出ていないかは管理担当者と範囲を決めて点検します。新しいボットを広く許可したから成功とするのではなく、問題として扱った要求に対する結果を受け取ります。
記録を残す目的は、同じ質問を繰り返して偶然引用された画面を探すことではありません。設定と応答の確認が終わったら、取得の点検を完了した範囲と、引用の観測を分けて報告します。回答への使用がまだ確認できなくても、調査で分かったことを説明できれば、根拠のない追加実装や全体の制限解除へ進まずに次の検討へ渡せます。
調査をいったん終える条件も決めておく
必要なログが保存されておらず、過去の要求を追えない場合は、その時点で断定できないという結論になります。誰の設定が悪いかを決めるために推測を重ねず、次に同じ現象が起きたときに確認する項目を共有します。取得の記録が確認できた場合は、その記録の範囲で結果をまとめます。この二つを区別すれば、証拠が不足する案件へ、効果を確かめられない改修を何度も追加することを避けられます。
Perplexityの取得を調べるときの疑問
まず現象と現在のルールを確認してください。掲載されない理由は回答画面だけでは特定できません。必要な取得の許可と、他の公開・セキュリティ上の制限を分けて調べます。
ユーザーエージェントの文字列だけでは決めません。接続元IPも公式の現行リストと照合し、対象URLと時刻、返した応答を確認します。
本記事から掲載時期は約束できません。許可設定、実際の取得、回答での使用は別の確認事項です。取得できた記録を、そのまま引用が決まった証拠にしないようにします。
確認に使った公式資料
ボットの用途、許可設定、WAFと公開IPの確認はPerplexityのクローラー公式資料を参照しています。現象の分類と管理担当者への依頼のまとめ方はこの記事の提案です。特定サイトのログを調査した実例ではありません。




