机器人防御

每IP限速失效：分布在数万个IP上的搜索机器人案例

一个站点的搜索功能在每次查询时都会调用外部API，几天内搜索流量上升约20倍，几乎所有搜索都返回503。最初的假设是每IP限制可以遏制它，但这一假设是错误的。某一天约60,000次搜索来自约60,000个不同IP，因此每个IP大约只发送一次请求，从未触及任何限制。用户代理是普通浏览器，Referer是站点本身，查询内容是真实的商品名称，因此很可能是在采集价格。外部API的每日配额在当天早些时候就用完了，正常访问者在当天大部分时间都无法搜索。修复措施包括：只有当请求携带由站点自身页面签发的签名令牌时才调用外部API；将无令牌的搜索排除在热门搜索排行之外；并设置全局及每令牌的每小时上限。发布后，503降至零。令牌不是身份验证，它只是提高攻击者的成本。