谈谈事实：哪些数据造就了今天的 AI 巨头？

We’re living in an era where AI is reshaping how we work, communicate, and create. Whether it’s ChatGPT drafting emails, Claude dissecting legal documents, or Gemini summarizing research papers, these tools are becoming indispensable. But beneath their impressive capabilities lies a question that’s rarely discussed openly: What data are these models trained on? More pointedly: Is your data — your blog post, your code, your Reddit comment — powering these systems without your knowledge? As someone who has worked with data systems, built machine learning pipelines, and advised on ethical frameworks, I can tell you the short answer is yes. Most people — whether they’ve written a blog post, pushed code to GitHub, commented on Reddit, or published a book online — have had their content scooped up by AI training pipelines. The majority of the most advanced models today were trained on sprawling corpora of text and code harvested from the web, sometimes with permission, often without. These models didn’t arise from isolated labs — they were built from the traces of our digital lives. 在本文中，我将揭开哪些数据推动流行人工智能模型的面纱，解释您的贡献可能如何参与，并探讨塑造这一领域的法律和道德辩论。 根据我在数据管道和现实世界示例方面的工作，我将让每个人都清楚地了解它，同时深入到足以满足好奇心的程度。 我的目标？ 为您提供洞察力并引发有关利害关系的对话。 AI 模型的训练方式及其训练内容 训练大型语言模型 (LLM) 就像教一个超级智能库来预测和生成文本。 这些模型消耗数十亿甚至数万亿的单词——文本、代码等等——将它们转化为捕捉语言、逻辑和上下文的数字模式。 利用强大的 GPU，公司在数周内完善这些模型，创造出能够以不可思议的技能聊天、编码或分析的人工智能。 关键成分？ 数据，而且很多。 那么，这些数据集中有什么？ 通常，它们包括： Common Crawl ：从博客到新闻网站的数十亿网页的海量档案。 维基百科 ：公共领域事实文本的结构化来源。 GitHub ：开源代码存储库，充满编程内容 示例。 书籍 ：公共领域的作品以及来自在线图书馆的有争议的受版权保护的作品。 社交媒体 ：来自 Reddit、Stack Overflow 或 X 等平台的公开帖子。 学术论文 ：来自 arXiv 或 PubMed 等专门针对专业人士的来源 知识。 这些数据集反映了 公共互联网 - 但“公共”是一个模糊的术语。 许多来源包含受版权保护的作品、个人观点或共享内容，无意训练人工智能。 在我构建 NLP 管道的早期，我看到即使很小的数据集也可以产生强大的结果。 就像今天的模型一样，将其扩展到整个网络，会带来机会和道德困境。 虽然 Mistral 或 BLOOM 等开源模型会公开其数据，但 GPT-4、Gemini 或 Claude 等专有巨头经常隐藏细节。 为什么？ 因为泄露消息来源可能会面临诉讼、监管审查或公众强烈反对的风险。 作为开放人工智能系统的倡导者，我发现这种向保密的转变令人不安——它优先考虑的是利润而不是责任。 OpenAI：GPT-3、GPT-4 和您的数据 When I first explored OpenAI’s GPT-3 in 2020, I was impressed by its transparency. The company shared that GPT-3 was trained on 300 billion tokens from Common Crawl, Wikipedia, and datasets called Books1 and Books2. But critics soon noted that Books1 and…