dataset 如何自己构建一个batch供DataCollator测试_构建一个预测的batch数据

作者：人工智能uu | 2024-07-16 17:16:10

踩

构建一个预测的batch数据

Q：如何简单的构建一个batch？
有一些代码喜欢把数据的预处理放在 data_collator 函数内，有时候我们希望自己构建一个batch简单的测试一下。

如果是普通的数据集可以使用：
data_collator(eval_dataset[:3])

但如果是 transformer encode的数据集，使用切片会失效，可以使用列表推导式

batch = [eval_dataset[i] for i in range(3)]
data = data_collator(batch)
print(data)
1
2
3

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/835377