Gentoo bugzilla 由于 AI bot scraper 过载而关闭

【HN用户评论摘要】 十五年后，我们不得不限制 Amara.org 的公共部分，并重新组织我们旧的 TED 内容，因为争吵者非常渴望各种带字幕的视频。如果你有任何对训练有价值的东西，如果你坚持下去，你就会被活活吃掉，就像在夏天的苔原上穿着短裤一样。这将极大地改变我们所知道的互联网，除非我们设法就一个通用的高质量数据集存储库达成一致。 当我们在工作中处理同样的问题时，我有时仍然想知道这些抓取者到底是谁。 OpenAI、Google、Anthropic 和其他公司通常表现得相当良好（除了 Anthropic 试图隐藏在浏览器租赁公司后面）。大多数情况下，你可以获得大型参与者的 IP 范围和用户代理，而问题主要源于冒充 Chrome 的机器人。我们最大的罪犯似乎主要限于东南亚，所以可能主要是中国的人工智能项目，但那就是 玩够了这个问题。摆脱困境的出路不是用有效的技术来保护，而是用原则和法律来保护。这不是一个技术问题。这是关于什么应该合法或不应该合法的问题。也不是有时间实施解决方案 X 或 Y 的问题。如果有人攻击您，是的，您应该有更好的安全性，但您也需要拥有法律追索权，否则它永远不会停止。Ddos 已经是非法的。我不是律师，所以不要向我询问确切的资源，这些资源因国家/地区而异 出于完全相同的原因，Hedgewars 也必须锁定其 bugzilla 和 repo。 到目前为止，使用的非常简单的方法（使用主网站上发布的信用进行基本身份验证）似乎已经抵制了抓取工具。 据推测，如果它们太愚蠢而无法正确抓取，那么它们也太愚蠢而无法合并琐碎的身份验证。 肯定有一些模式可以用来对付刮刀。这位维护人员只是没有时间，这是可以理解的。我们使用 Cloudflare 的负载均衡器将抓取流量引导到特定于机器人的服务器，慢慢分析流量并一次添加一个条件。很长一段时间没有出现意外的爬虫 DDoS。大多数爬虫在某种程度上都是相对诚实的。 原始链接: https://social.treehouse.systems/@mgorny/117058483039362779