云从科技及联合研究团队的论文《PointCMP: Contrastive Mask Prediction for Self-supervised Learning on Point Cloud Videos》入选CVPR 2023。论文关注的问题很具体:点云视频的标注成本高,能否先从无标注数据中自监督地学到可用表征。
PointCMP采用双分支结构,同步学习点云视频的局部和全局时空信息。一个分支做局部掩码预测对比,另一个分支做全局对比学习。输入的点云视频被均匀分成多个片段,送入编码器得到局部Token和带全局语义的全局Token。
方法的关键,是有针对性地增加学习任务的难度。团队计算局部表征与全局语义之间的相似度,寻找与视频内容高度相关的部分,再对关键内容进行掩蔽。模型需要借助更多上下文预测缺失表征,而不只是依赖最容易识别的局部信息。
在局部分支中,被掩蔽的Token由回归器预测,预测表征与对应原始表征组成正样本对,再与其他表征对比。全局分支则对补全后的Token进行汇集,同时通过擦除高相关特征通道构造难负样本。两个分支分别从局部细节和全局语义学习时空关系。
在MSRAction-3D数据集上,研究团队以PSTNet为编码器,对预训练模型进行端到端微调。使用8帧的设置下,行为识别精度从基线的83.50%提高到89.56%。这是论文报告的特定数据集和实验设置结果,体现了自监督预训练表征在该下游任务中的作用。
研究中的可视化还显示,与全局Token高度相似的关键局部Token,往往对应运动中的关键身体部位。通过掩蔽这些区域,PointCMP鼓励编码器利用上下文学习更有区分性的表征,也把局部动作信息与整段视频的语义联系起来。
免责声明:此文内容为广告,不代表本网的观点及立场。其内容由广告方提供,与本网无关,本文所涉文、图等资料之一切权利和法律责任归材料提供方所有和承担。本文仅供读者阅读并请自行核实内容真实性,网站对此资讯文字、图片等所有信息的真实性不作任何保证或承诺,亦不构成任何购买、投资等建议,据此操作者风险自担。

