每日AIGC最新进展(31)：新加坡国立大学提出视频生成人类评估协议、加州大学提出视频生成测试基准TC-Bench、清华大学提出视频编辑新方法COVE

Diffusion Models专栏文章汇总：入门与实战

Rethinking Human Evaluation Protocol for Text-to-Video Models: Enhancing Reliability,Reproducibility, and Practicality

本文提出了一种新的文本到视频（T2V）模型的人类评估协议（T2VHE），旨在提高评估的可靠性、可重复性和实用性。随着T2V技术的快速发展，传统的评估方法面临挑战，尤其是在自动度量的限制下，人工评估成为更值得信赖的方法。然而，现有的人工评估协议存在可重复性、可靠性和实用性的问题。

T2VHE协议包括明确定义的评估指标、全面的注释者培训以及有效的动态评估模块。评估指标涵盖了视频质量、时间质量、运动质量和文本对齐等多个方面，还包括了伦理稳健性和人类偏好等主观指标。T2VHE采用了基于比较的评估方法，并通过Rao和Kupper模型量化注释结果，提高了评估的效率和准确性。此外，动态评估模块通过优化注释过程，显著降低了评估成本。

通过实验，研究者发现经过培训的实验室招募注释者&#x