一键屏蔽恶意AI模型爬虫机器人，Cloudflare推出“防扒”网络工具

9 月 26 日消息，网络服务商 Cloudflare 本周推出一系列防 AI 爬虫的工具，包括可查看 AI 爬虫具体活动的 AI Audit 和一键屏蔽所有 AI 爬虫的 Block AI Scrapers and Crawlers。站长们可以部署相关服务，从而防止自己网站的内容被用于训练 AI 的机器人爬虫扒取。

Cloudflare 推出的相关工具主要利用签名比对、启发式算法、机器学习和行为分析技术来辨别爬虫，用户可以查看 AI 爬虫的各种行为，包括爬虫类型、访问频率和扫描内容，站长还可以按照需要放行“善意的 AI 机器人”抓取信息（此类“善意的 AI 机器人”主要寻找网站的 robots.txt 来获取信息，通常不会对网站本身产生异常流量，也不会将网页所有数据直接用于全盘训练模型）。

如果不确定如何处理这些 AI 爬虫，站长们也可以使用 Block AI Scrapers and Crawlers 功能，一键屏蔽所有 AI 爬虫。

互联网为许多大语言模型（如 OpenAI 的 GPT 模型和谷歌的 Bard）提供了大部分的训练数据，如今许多厂商为了刷自家 AI 模型分数，大肆通过网络爬虫“拿来式”地获取训练数据，从而让本应你情我愿的行为变得“污名化”，各大网络商直接推出此类禁用 AI 爬虫的服务也在意料之中。