14-40 剑和诗人14 - 为什么机器学习需要合成数据

​​​​​​

数据是人工智能的命脉。如果没有高质量、有代表性的训练数据，我们的机器学习模型将毫无用处。但随着神经网络规模越来越大、人工智能项目越来越雄心勃勃，人们对数据的需求也越来越大，我们面临着一场危机——现实世界的数据收集和标记根本无法扩展。

在这篇文章中，我将讨论现实世界数据面临的主要挑战，以及为什么合成数据对于开发高性能、稳健且符合道德规范的 AI 系统至关重要。

我还将分享一些生成和使用合成数据来训练大型语言模型 (LLM) 的最佳实践。

数据扩展问题

首先，让我们了解为什么现实世界的数据会遇到可扩展性问题。现代神经网络是数据饥渴的野兽——像 GPT-4 这样的大型语言模型是在数百万亿个文本参数上进行训练的。图像分类模型需要数百万个带标签的示例才能达到人类水平的性能。随着我们向多模式、多任务模型迈进，数据需求将继续激增。

然而，现实世界的数据并非随处可见。收集足够多的高质量、有代表性的数据集来满足这些模型的需求成本极高：

• 数据收集是手动的，而且速度很慢——网页抓取、调查、传感器数据等需要大量的人力和基础设施。收集数据集可能需要数千小时，而 AI 模型在训练过程中只需几分钟就能处理完。
• 数据标记需要大量人工审核——图像、文本、音频——几乎所有数据都需要某种形式的手动标记或注释，然后才能用于监督训练。例如，自动驾驶汽车可能需要数百万张具有精确像素级分割的图像——这几乎是不可能完成的人工工作。
• 专业数据尤其稀缺——虽然像 ImageNet 这样的通用数据集存在，但大多数商业应用程序需要更难以大规模获取和标记的小众、专业数据。
• 隐私和法律限制限制了访问——从 PII 到版权问题，由于隐私法或专有权限制，现实世界的数据通常无法在组织之间自由共享和重复使用。这极大地阻碍了人工智能领域的合作和创新机会。

显然，现有的获取训练数据的方法完全不适合大型神经网络和雄心勃勃的现实世界 AI 应用时代。运行更大的模型或解决更困难的问题需要的数据集比我们目前使用手动流程可以实际收集的任何数据集大几个数量级。

如果没有可扩展的数据问题解决方案，人工智能的发展将在许多重要的应用领域遭遇阻碍。幸运的是，合成数据和模拟提供了一条前进的道路。

合成数据(Synthetic Data)的前景和进展

合成数据是机器生成的数据，模仿真实世界数据的统计特性。其理念是通过编程自动生成模拟数据集，而不是手动收集和标记数据。

生成模型的最新进展使得合成越来越逼真的模拟数据（包括图像、文本、语音、视频和传感器数据）成为可能。论文和项目数量呈指数级增长，展示了这些生成合成数据技术不断扩展的功能。

是什么使得合成数据对于解决人工智能中的数据扩展问题如此有希望？

• 它是自动化的——合成数据管道一旦配置完成，就可以自动生成任意大小的数据集，无需任何额外的人工干预。这使得数据实际上变得无限。
• 它是可定制的——合成数据的每个方面都可以通过编程控制，从而可以轻松调整以匹配真实世界分布的统计数据。想要更多罕见极端情况的例子吗？这是对数据生成器的简单调整。
• 可共享和重复使用——人工数据不受隐私限制，可以自由共享、重复使用和混合，以实现协作。这还允许创建基准数据集，整个社区可以围绕这些数据集进行整合并推动进步。
• 它用途广泛——相同的合成数据生成管道通常可以创建针对不同下游问题量身定制的训练数据，而无需进行太多更改。这使得它很容易扩展到新的用例。
• 它既快速又便宜——大多数合成数据技术可以比实时运行得更快，同时利用 GPU 等备用计算能力。生成更多数据的边际成本基本上为零。

合成数据的有效性已在医学成像、自动驾驶、药物研发、推荐系统、金融、机器人和自然语言处理等应用中得到证实。几乎每个面临数据匮乏困境的行业都将从中受益。

随着人工智能整体发展速度的不断加快，生成模型的创新可以迅速转化为更强大、更经济的合成数据。这是一个正反馈循环，最终只受计算能力的限制。

因此，合成数据将在未来几年成为许多 AI 系统的主要训练数据来源。但这还不像启动生成器并获得完美的训练集那么简单。仍然需要最佳实践……

使用 LLM 合成数据的最佳实践

大型语言模型 (LLM)（如 GPT-4/LLaMA-2/Gemini 1.5）在训练期间会摄取无限量的文本流。在如此规模下，跨不同领域收集和标记足够的真实世界训练数据是完全不可行的。因此，合成文本数据至关重要，但仍需要勤奋才能有效。

以下是训练大型自然语言模型时针对合成数据的一些核心最佳实践：

根据真实数据进行基准测试

合成数据面临的根本挑战是确保其保留了真实数据的统计本质。如果无法准确模拟诸如长距离依赖关系之类的复杂情况，则在部署到实际任务中时，模型性能可能会严重下降。

因此，我们必须通过在合成数据集上训练模型并与现实世界的数据进行交叉验证来对合成数据集进行广泛的基准测试。如果我们能够达到甚至超过仅使用真实数据训练的模型所达到的指标，我们就可以验证质量。然后，数据生成器的改进可以专注于提高这些基准的性能。

与真实数据混合

大多数语言数据管道仍然至少包含一部分真实示例。虽然比例各不相同，但根据目前发布的基准，20-30% 往往是一个有用的范围。这个想法是，真实示例提供了稳定训练的锚点。

这种混合可以在多个层面上发生，从将真实示例明确混合到最终数据集中，到在进行大规模合成生成之前使用较小的真实数据集来启动数据生成器参数。

按元数据分层

现代 LLM 在具有大量元数据（作者、主题、日期、标题、网址等）的数据集上进行训练。这些补充数据编码了对许多下游应用至关重要的统计关系。

因此，元数据分层对于高质量的合成文本数据至关重要。应尽可能对元数据属性的分布进行基准测试和匹配。生成没有上下文的独立段落会限制模型能力。

至少，新闻文章和科学论文的时间框架等元数据往往是通过合成生成管道进行编码的重要分层变量。

模型迭代细化

数据生成器应根据基准性能反馈和模型训练期间观察到的错误进行迭代更新。当尝试捕捉复杂的长距离属性时，生成器架构很重要。

如果我们发现语言模型在处理人类可以干净处理的某些类型的段落结构时反复遇到困难，那么更新生成器以更好地在合成分布中展示这些结构将提高下游模型的质量。

这种以编程方式优化数据本身以指导模型功能的能力是合成数据所独有的，而且非常强大。它创建了一个反馈循环，可以引导达到原本无法达到的性能水平。

扩大多样性

人们一直担心合成文本数据缺乏多样性，从而导致偏差放大等问题。复杂的生成模型旨在捕捉分布，但可能会错过长尾细微差别。

通过词汇、语义和句法多样性指标积极分析合成数据管道，然后进行迭代调整，有助于避免这些陷阱。我们还可以通过直接调节敏感元数据的生成来程序化地促进多样性，以更好地反映现实世界的异质性。

这些最佳实践共同有助于确保合成文本数据大规模改善而不是损害语言模型质量，同时避免常见的陷阱，例如过度拟合生成器的统计怪癖。

通过合成数据释放创新

高质量的合成数据为人工智能的发展打开了无限可能，而此前，数据稀缺是阻碍人工智能发展的关键因素。几乎每个现代深度神经网络都渴望获得更多数据——合成数据为这些“野兽”提供了无限的资源。

除了可以实现更大更好的模型之外，随时可用的可定制训练数据还可以通过更快速地进行原型设计来加速研究和应用。可以快速测试和迭代创意，而不必等待数月来收集和标记真实世界的数据。

合成数据使开放、协作的数据集能够促进更广泛的参与。具有可免费使用的培训资源的公共基准比封闭在组织内部的孤立真实世界数据集更能促进创新和多样性。

我们正处于合成数据革命的边缘——预计未来十年，语言、视觉、机器人、医疗保健等领域将由模拟数据推动爆炸式增长。可扩展性瓶颈正在消失，人工智能能力将大幅扩展，从而释放出新的可能性。

伟大的综合意味着伟大的责任。虽然合成数据为人工智能的发展提供了巨大的潜力，但它并没有消除道德、隐私、问责等方面的考虑，我在这里没有讨论这些，但值得在其他地方进行广泛的分析。我们必须负责任地追求进步。

尽管如此，人工智能在数据基础上正达到一个转折点。我们必须大力投资合成能力，以实现机器智能的下一个层次。构建这些无限数据引擎将在未来几年推动各行各业的突破。现在就是开始的时候了。