機器人防禦

每 IP 速率限制擋不住時：分散在數萬個 IP 的搜尋機器人案例

一個網站的搜尋功能每次查詢都會呼叫外部 API，幾天內搜尋流量約增加 20 倍，幾乎所有搜尋都回傳 503。最初的假設是每 IP 限制可以控制它，但這個假設錯了。某一天約 60,000 次搜尋來自約 60,000 個不同的 IP，因此每個 IP 只送出約一次請求，從未達到任何限制。使用者代理是一般瀏覽器，Referer 是網站本身，查詢內容是真實的商品名稱，因此價格蒐集的可能性很高。外部 API 的每日配額在當天較早時就用完，一般訪客在大部分時間都無法搜尋。修正方式包括：只有當請求帶有網站自身頁面發出的簽章權杖時才呼叫外部 API、將沒有權杖的搜尋排除在熱門搜尋排名之外，並全域及每個權杖設定每小時上限。上線後 503 降為零。權杖不是身分驗證，它只會提高攻擊者的成本。