从偏好到偏见:对齐微调如何塑造视频扩散模型中的社会偏见

← 全部研究

对齐与评估

TMLR 2026 · MSLD 2026 (海报) · PDF · arXiv · 代码

沿着对齐流程追踪社会偏见。 视频画质提升,并不意味着人物呈现更加多样。VideoBiasEval 使用以事件为中心的提示,将动作和场景与性别、族裔属性分开,再比较视频不同帧和模型版本中的社会群体呈现。

该框架结合三个 VLM 评估器,衡量族裔代表性、给定族裔下的性别偏差、对齐前后的属性分布变化,以及属性在时间上的稳定性。分析从人类偏好数据集和图像奖励模型出发,进一步连接视频生成模型与其对齐版本的对照实验。

VideoBiasEval 对视频帧进行社会属性标注,并沿对齐流程分析偏见的框架。
图 1:基于事件的偏见评估,以及人类偏好、奖励模型与对齐后视频生成之间的关联。点击放大。

在论文对 ModelScope/InstructVideo 和 VideoCrafter-2/T2V-Turbo-V1 的对照实验中,对齐提高了测得的男性偏差,并可能降低群体多样性。两组模型的族裔分布变化方向并不相同,而时间维度分析显示对齐后的属性呈现更持久。这些结论对应论文测试的模型、奖励信号和提示集合;论文也将 VLM 判断与人工标注进行核对。