在电商、广告和消费者参与领域,自动生成类似主播风格的产品推广视频正展现出巨大的潜力。尽管在姿势引导的人物视频生成技术方面取得了显著进展,这一任务仍然是一个挑战。AnchorCrafter 正是为了应对这一挑战而诞生的,它是一个新颖的基于扩散的系统,旨在生成包含目标人物和定制对象的2D视频,实现高视觉保真度和可控的互动。
核心创新
AnchorCrafter 通过两项关键创新,解决了人物-物体互动(HOI)在姿势引导人物视频生成中的整合问题。首先,HOI-appearance感知增强了从任意多视角识别物体外观的能力,并分离了物体和人物的外观。其次,HOI-motion注入通过克服物体轨迹条件和相互遮挡管理的挑战,实现了复杂的人物-物体互动。
HOI区域重加权损失
除了上述创新外,AnchorCrafter 还引入了HOI区域重加权损失作为训练目标,这一目标增强了对物体细节的学习。通过广泛的实验,证明了AnchorCrafter 在保持物体外观和形状意识的同时,还能维持人物外观和动作的一致性方面,超越了现有方法。
系统效果
AnchorCrafter 的实验结果表明,该系统在保持物体外观和形状意识的同时,还能维持人物外观和动作的一致性方面,超越了现有方法。这使得AnchorCrafter 成为一个强大的工具,能够为在线商务和广告领域创造更具吸引力和个性化的视频内容。
-=||=-收藏赞 (0)
评论 ( 0 )