Amazonbot 终于尊重 robots.txt

【HN用户评论摘要】 > 获取 Outlook for Mac 这一点让我笑了。电子邮件是在 Outlook 中起草的吗？是发送到某种转发邮箱，还是他们只是密件抄送每个客户？ 为什么亚马逊机器人存在，有人可以解释一下吗？我不明白为什么电子商务游戏会抓取其他网站。 我前几天刚刚向他们投诉了！他们无休止地抓取我们的天气网站，其中包括不允许的路径前缀。最终只是将它们添加到我们的 WAF 阻止列表中，这很奇怪 - 托管在他们的基础设施上并使用他们的服务来阻止他们的 AI 抓取...... 嗯，我从 Amazonbot 获得了大量流量（相对于人类），并且尽我所能，它会被困在一个没有创造的柏油坑中，因为它会坐在那里并不断轰炸我最近页面的每个变体，因为 Mediawiki 列出了许多链接。我让它们适当地 nofollow 并警告机器人不要在 robots.txt 上浪费时间，但它只是将自己粘在无意义的内部页面上。流量不是问题。我前面有Cloudflare，机器本身就相对结束了 原始链接：https://xeiaso.net/notes/2026/amazonbot-respecting-robots-txt/