Duckdb

集計 API で 5xx を数えるところまでは前回やった。だが「何件出たか」は分かっても「誰が踏んだか」は分からない。生ログを 9 日ぶん S3 に貯めて DuckDB で掘ったら、504 の 307 件すべてが Cloudflare の Early Hints による内部リクエストで、実ユーザーの UA は 1 件も無かった。慢性障害だと診断していたものが、ユーザー影響ゼロだった話。ついでに無料プランのログ保持が 8 日しかないことも実測で分かる。

9日ぶんの生アクセスログを1リクエスト1行で S3 に貯め、全 1198 IP を排他的に分類したら、人間候補は 2% だった。鍵は「UA を証拠として使わない」こと。データセンターから来る MobileSafari が 297 IP、ブラウザ UA を名乗るがアセットを一切読まないスクレイパーが 76 IP。UA は自己申告なので、ASN と行動を重ねて初めて正体が見える。判定ロジックと実数を全部出す。