サイトに来るのは、人だけではない
あなたのサイトのアクセスログを開くと、人間のブラウザ以外からのリクエストがたくさん並んでいるはずです。プログラムが自動でサイトにアクセスするものを、まとめてボットと呼びます。Cloudflare の集計でも、インターネットの通信のかなりの割合がボットからのものです。
ボットは、それ自体が悪いものではありません。
| ボット | 何をしているか |
|---|---|
| Googlebot など | 検索エンジンに載せるために、ページを読みに来る |
| 死活監視 | サイトが落ちていないか、数分おきに確かめる |
| 買い占めボット | 限定品やチケットを、人より速く買い占める |
| 総当たりボット | 漏れた ID とパスワードでログインを試す |
| 価格の抜き取り | 競合の価格や在庫を、全ページから自動で集める |
| AI クローラー | AI の学習や回答のために、ページを読みに来る |
困るのは、これらがどれも同じ HTTP のリクエストに見えることです。中身は正しいので、05号の WAF では止まりません。1つ1つの回数を抑えても、ボットは IP を変えてくるので、06号のレート制限だけでは足りません。
しかも、ブラウザの名乗り(User-Agent)は、送る側が自由に書けます。「私は Googlebot です」と書くだけなら、誰にでもできます。名乗りを信じて通すと、悪いボットに素通りされます。
※この号の内容は 2026年9月時点の情報です。とくに AI のクローラーに関する機能と既定の設定は、動きの速い分野です。導入のときは必ず公式のドキュメントで確かめてください。