表示微软抓取数据须付费搜索流量不再仅靠内容爬取

【太平洋科技快讯】Reddit首席执行官史蒂夫·霍夫曼近日发表声明，要求微软等公司为抓取Reddit网站数据付费，且他表示Reddit要求付费的做法与传统媒体出版商相似，旨在从生成式AI中获得收益。他指出，搜索引擎的传统价值交换模式正在发生变化，单纯依赖爬取内容换取流量的模式已不再适用。

霍夫曼透露，Reddit已与谷歌和OpenAI等公司签订了付费协议。此举旨在控制并了解Reddit数据的使用情况，以确保数据不被滥用，而微软、Anthropic和Perplexity三家公司拒绝与Reddit进行谈判，导致Reddit不得不采取措施限制这些公司的数据抓取行为。他强调，封锁这些公司对Reddit来说是一个艰难的决定。

霍夫曼强调，付费协议对于确保数据合理使用至关重要。他以Reddit与OpenAI的SearchGPT合作协议为例，说明付费协议的有效性。

霍夫曼表示，表示微软抓取数据须付费搜索流量不再仅靠内容爬取微软未经授权利用Reddit数据训练AI，并在Bing搜索结果中展示Reddit内容，甚至通过BingAPI出售这些数据。他认为，微软等公司认为互联网上的内容可以免费使用，这种观点有失偏颇。

近几个月，Reddit不断强化对未经授权网络爬虫的打击。7月初，Reddit更新了robots.txt文件，屏蔽了部分搜索引擎的爬虫。结果导致Reddit内容在Bing等搜索引擎上消失。

而针对Reddit在Bing搜索结果中消失一事，微软搜索主管乔迪·里巴斯表示，Reddit屏蔽了Bing的爬虫，对其他搜索引擎不公平。微软发言人凯特琳·劳尔顿也表示，公司尊重Reddit的决定。