AI爬虫偷走流量改写「网路经济」 内容网站急出招反制
AI与人类示意图。（路透档案照）
一批看不见的人工智慧（AI）「爬虫」大军，正改写网路经济。这些爬虫程式在网站大肆爬取内容，喂养科技巨头的生成式AI演算法，却未经允许也不必付费，也不一定为网站带来流量，仰赖广告和点阅率的内容网站，正亟欲反制。
《法新社》14日报导，AI聊天机器人兴起前，网站让搜寻引擎机器人读取内容，换来增加搜寻结果曝光度，网站可获得流量和广告收益。但是生成式AI的迅速发展，已使Google、OpenAI等大型科技公司，得以利用网路爬虫程式为聊天机器人搜集资料，完全不需要人类使用者造访原始网站，就能取得内容。
这种变化已使媒体机构等传统内容生产者的线上业务和广告收入，受到AI爬虫侵蚀。数据管理公司Dataiku AI策略部门负责人穆梅尔（Kurt Muehmel）说，过去网站开放让机器人存取，是「用内容换读者」，但是生成式AI的出现「彻底打破」这个模式。
不仅媒体，线上百科「维基百科」（Wikipedia）上月报告指出，由于AI搜寻引擎提供摘要，该网站2024年到2025年的真人访客流量下跌8%。
美国网路服务公司Cloudflare执行长普林斯（Matthew Prince）指出，这种紧张关系的根本在于，「这套由AI驱动的网路新商业模式，并不会带来流量」。处理全球逾两成网路流量的Cloudflare公司，今年夏天宣布新措施，协助网站封锁未经允许或未付费的AI爬虫。
普林斯在葡萄牙里斯本举行的网路高峰会（Web Summit）场边向法新社说，这项措施已用于超过1000万个网站，引起了AI巨头的注意，这项功能「基本上就像立了一块限速或禁止闯入的牌子」，行为恶劣的机器人虽然仍然可能绕道，但是Cloudflare可以追踪来源，「时间一久，我们就能在相信AI公司无法轻易突破的情况下，加强这些控管措施」。
较小规模的措施如美国新创公司TollBit，现与超过5600个网站合作，包括《今日美国》（USA Today）、《时代杂志》（Time）和《美联社》（Associated Press）等媒体，免费提供分析数据，由网站业者自定内容存取费率，按AI读取的每一份内容收费，让网路新闻出版业者封锁、监视AI爬虫并将这类爬虫流量变现。
不过，穆梅尔认为，AI爬虫主导网路经济，并不是靠单一公司或零星措施就能解决，「这是一场会花上好几年的整个网路经济进化」。普林斯说，若任由这些爬虫机器人继续存取网站内容，「内容创作的所有诱因都将消失」，那会是不仅对人类、实际上也是对需要大量原创内容训练其系统的AI公司的损失。
来源：自由时报