Data Management For Large Language Models: A Survey_a survey on data selection for language models

作者：盐析白兔 | 2024-04-01 19:33:25

踩

a survey on data selection for language models

本文是LLM系列文章，针对《Data Management For Large Language Models: A Survey》的翻译。

大型语言模型的数据管理研究综述

摘要
1 引言
2 LLM的预训练
3 LLM的监督微调
4 挑战和未来方向
5 相关综述
6 结论

摘要

数据在大型语言模型（LLM）的训练中起着至关重要的作用。有效的数据管理，特别是在制定一个非常适合的训练数据集方面，对于增强模型性能和提高预训练和监督微调阶段的训练效率具有重要意义。尽管数据管理具有相当重要的意义，但当前的研究界仍未能对管理策略选择背后的原理、其后果、评估策划数据集的方法以及对改进策略的持续追求进行系统分析。因此，数据管理的探索越来越受到研究界的关注。本调查全面概述了LLM预训练和监督微调阶段的数据管理研究现状，涵盖了数据管理策略设计的各个值得注意的方面：数据量、数据质量、领域/任务组成等。展望未来，我们推断了现有的挑战，并概述了该领域有希望的发展方向。因此，这项调查为那些希望通过有效的数据管理实践构建强大LLM的从业者提供了指导资源。最新论文集可在

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/349924