AI数据行业野蛮生长：从人工标注到RL环境
硅谷101播客邀请在 Scale AI 负责后训练与评测研究的何允中，以及加州大学伯克利分校博士后、Agents’ Last Exam（ALE）项目研究者孙一铀，讨论AI训练数据行业的快速膨胀与不透明。节目提到 AfterQuery 今年4月A轮融资时估值3亿美元、9月据媒体报道升至32亿美元，Bespoke Labs 7月宣布种子轮与A轮合计融资4000万美元，并梳理行业从人工标注、pre-training 转向评分细则（rubric）、可验证信号，以及包含任务、工具与验证机制的强化学习环境。两人还谈到垂直领域数据的采购难题、benchmark 与卖数据的边界（有人提及有数据公司出售评测数据）、专家造假与数据污染，以及 OpenAI 2月停止报告 SWE-bench Verified 分数所反映的评测困境。嘉宾观点仅代表个人，不代表所在公司或机构。
数据供应链与评测可信度正成为模型能力提升的关键瓶颈，这场对话提供了数据供应商与研究者的现场视角。
随着AI模型能力提升，训练需求更复杂，一批为模型公司提供训练数据的新公司正在快速增长：AfterQuery今年4月宣布A轮融资时，估值为3亿美元，到了9月，据媒体报道，新一轮融资已经将其估值推至32亿美元。另一家提供训练数据与智能体环境的公司Bespoke Labs，也在今年7月宣布，种子轮与A轮融资合计达到4000万美元。
虽然估值水涨船高，AI数据行业对外界来说却极其不透明。这些公司究竟在卖什么？
过去提到数据标注，我们容易想到给图片打标签、给模型回答打分。但随着AI从回答问题走向执行任务，数据公司的交付物也在变化：从专家写出的评分标准，到包含任务、工具和验证机制的强化学习环境。它们需要找到懂行的人，获得真实的行业资料，再把专业知识与工作经验转化成模型能够学习的训练信号。
与此同时，新的AI评测层出不穷。榜单分数提高了，究竟代表哪些能力变强了？针对评测生产数据，什么时候能改善真实用户体验，什么时候又会变成单纯的刷分？对于每天训练模型的研究员来说，他们最需要的数据，到底是什么？
#Scale AI#Mercor#Surge AI#AfterQuery#Bespoke Labs#Agents’ Last Exam#Humanity’s Last Exam#SWE-bench Verified#OpenAI#Snorkel AI#University of California, Berkeley