AI大模型语料资源争夺战：从Reddit到国内内容平台

如今在全球范围内，AI大模型之间的“战争”正如火如荼，而决定AI大模型性能的除了基于人类反馈的强化学习（RLHF）、AI反馈强化学习（RLAIF）等方法论，语料同样也是核心要素之一。以ChatGPT为代表的AI大模型之所以比早前的Siri、Alexa更“聪明”，语料规模的量变产生质变是关键，因此对于语料资源的争夺就成为了当下AI大模型赛道的主题，更直接导致了拥有语料资源的内容平台开始待价而沽。

日前据《华盛顿邮报》的相关报道显示，“美国贴吧”Reddit已经与一系列AI巨头会面，商讨付费使用数据的事宜，如果双方无法达成协议、谈判破裂的话，Reddit将考虑禁止谷歌、必应等搜索引擎，以及其他厂商的爬虫从该平台获取内容。其实Reddit向AI厂商收费这件事，此前在今年夏季曾经闹出过一场风波，用户也通过关闭子版块的方式向官方发起抗议，导致Reddit瘫痪了数天之久。但当时在Reddit方面的“拖字诀”下，用户们缺乏组织性的抗议偃旗息鼓。即使平台被迫停摆，Reddit都不曾向用户妥协，这一点已经证明了Reddit是铁了心想要把这些数据卖个好价钱。

就像数据之于算法一样，语料无疑是ChatGPT这类生成式AI更智慧的基础所在。其实生成式AI的原理，大概可以总结为通过大量的语料库进行训练、以建立相应的模型，从而使得AI能够对人类的问题作出相应的回答和决策，其核心逻辑就是“猜谜游戏”。根据Google和Deepmind联合发布的相关论文显示，模型在没有达到一定规模前，得到的表现较为随机，但在突破规模的临界点后，表现则会大幅度提升。毫无疑问，这一事实是Reddit方面敢于向OpenAI、谷歌、亚马逊等企业收费的核心，毕竟即便抛开语料质量，作为一个内容平台，拥有5000万日活的Reddit有自信持续产出内容。

诚然，Reddit上的内容与出版的书籍或报刊杂志在质量上有着高下之分，但毕竟高质量语料的产能有限，此前也已有研究团队预测，按照现在的速度，AI不出5年就会把人类所有的高质量语料用光。事实上，效仿Reddit的例子在欧美市场几乎比比皆是，且不提X（原推特），《纽约时报》、《华盛顿邮报》、路透社等530家欧美媒体已经上线了应对生成式AI的“拦截工具”，直接对ChatGPT等产品关上了大门。甚至乔治·马丁等17位作家还向美国法院提起诉讼，指控公司OpenAI“大规模、系统性盗窃”，非法使用知名作家受版权保护的作品训练ChatGPT。

那么问题就来了，为什么关于AI大模型的语料产出在海外市场已经可谓是沸反盈天，在国内却风平浪静呢？诚然，中文和英文两种语言本身具有非常不一样的特性，其中中文是表意文字、而英文是表音文字，并且文化差异导致各自语料库质量的不同也会影响训练结果，但目前国内市场的AI大模型的方法论与海外ChatGPT、Bard、LLaMA2等没有本质的区别，CopyToChina的现象为何没有发生？

其实最直接的原因，是有一部分国内内容平台不像Reddit、X一样“躺平”，Reddit敢于收费是因为它并不在局中。比如说，一直被看作是“ChatGPT概念股”的知乎在“2023知乎发现大会”上，就公布了与面壁智能共建的大模型产品“知海图AI”，短视频巨头快手也有“快意”和“可图”两个自研大模型，抖音背后的字节跳动更是全面进军大模型赛道，推出了大模型服务平台“火山方舟”、AI大模型“豆包”。所以既然已经介入了大模型赛道，知乎、快手、抖音自然也就失去了向AI厂商收费的理由。因为AI大模型的训练不可能仅靠知乎、抖音、快手自己平台上的内容，必然还需要获取来自第三方的语料，所以一旦效仿Reddit就会瞬间打破平衡，各大内容平台会迅速开启互相收费的争斗，结果就是各家的大模型训练进度陷入停滞。

另一个让国内内容平台不必与AI厂商对垒的因素，是国内互联网厂商不约而同地将Web端进行了阉割。过去数年间已有诸如闲鱼等一大批产品“主动淘汰”了网页版，即便没有这样做的厂商也大多选择了劣化网页版，比如“打开XX，阅读全文”、“打开XX看更多”，千方百计引导用户使用APP、而不是停留在网页上，此外诸如小红书等厂商更是直接采取了用户不登录根本无法使用任何功能的策略。如此种种就导致了一个结果，网页端功能的残缺使得爬虫工具根本无法获得有效的数据，而拥有完整数据的App又是一个个孤岛般的存在。App的特质导致了高度封闭的生态，使得AI厂商获取数据存在不小的困难。尽管绝大部分App走的都是webservice通讯协议，有心人可以通过截获数据传输包的方式来采集数据，但App通常都有防抓包检测，更重要的是爬取App数据还存在违法的风险。虽然许多互联网厂商乃至法律工作者可能会认为爬取公开的数据不违法，但在全球范围内关于数据保护不断加强的背景下，爬取公开数据的风险系数并非恒定的，爬取有防抓包设计的App数据就更有风险了，很容易就会构成不正当竞争，相关案例在互联网行业可谓是比比皆是。

当部分国内内容平台已经变成了AI大模型赛道的一份子，另一部分平台靠着弱化Web端让AI厂商不敢抓取数据的情况下，自然就是一团和气，所以也就不会有类似Reddit一般与OpenAI等AI厂商撕破脸的情况发生。

本文来自微信公众号“三易生活”（ID：IT-3eLife），作者：三易菌，36氪经授权发布。