Rethinking the Role of Demonstrations: What Makes In-Context LearningWork?

背景

这篇论文主要验证了prompt demos对模型的作用是什么，主要几个方面的影响：
1.prompt demo的input和label的映射关系对结果影响非常小，模型没有从mapping关系中学到太多信息。这是比较反直觉的
2.模型从input输入的数据空间和label输出的数据空间中，学习到了大量的信息，对模型预测结果的效果提升起到了关键作用
3.prompt demo序列的总体结构信息，对模型结果影响较大。
4.meta learning会放大prompt demo的作用，模型会学习demo中更加简单的方面。

消融实验

1.demos的正确率是否对结果有影响。

demos的正确率对模型效果影响不大。

2.demos的数量k是否影响模型效果

1.随着k的增长，模型效果也在增加
2.模型在k>8之后，效果随着k的增长，效果不明显，说明8个左右的demo，已经提供了足够的信息。

3.demo的质量是否影响模型效果

1.可以看到影响不大

为什么in-context learning起作用？

1.prompt demo的input和label的映射关系对结果影响非常小，模型没有从mapping关系中学到太多信息。这是比较反直觉的
2.模型从input输入的数据空间和label输出的数据空间中，学习到了大量的信息，对模型预测结果的效果提升起到了关键作用
3.prompt demo序列的总体结构信息，对模型结果影响较大。
4.meta learning会放大prompt demo的作用，模型会学习demo中更加简单的方面。

继续讨论

6.1模型是否从demo中学习到了知识。

1.如果严格的定义学习从input-label关系中的话，其实是没有学习到的。
2.如果从模型去适应demo的input-label数据空间和demo的格式的话，其实是学习到了相应的知识。

6.2模型的能力

1.模型其实已经从他自身的目标中学习到了input-label的映射关系。

6.3 zero-shot的效果提升

1.可能可以通过非监督学习提升效果。