广告也精彩

 DreamTalk 官网简介:

DreamTalk基于人工智能的扩散模型,实现了人物照片的动态说话效果。

DreamTalk

当富有表现力的说话头生成遇到扩散概率模型

马一峰1 , 张世伟2 , 王嘉宇2 , 王翔3 , 张英雅2 , 邓志东1

1清华大学2阿里巴巴集团3华中科技大学

扩散模型在各种下游生成任务中取得了显着的成功,但在重要且具有挑战性的富有表现力的头部头像生成中仍未得到充分探索。在这项工作中,我们提出了一个 DreamTalk 框架来填补这一空白,该框架采用精心设计来释放扩散模型在生成富有表现力的头部的潜力。具体来说,DreamTalk 由三个关键组件组成:降噪网络、风格感知唇部专家和风格预测器。基于扩散的去噪网络能够一致地合成不同表情的高质量音频驱动的面部运动。为了增强唇部动作的表现力和准确性,我们引入了风格感知型唇部专家,可以指导唇部同步,同时注意说话风格。为了消除对表情参考视频或文本的需要,利用额外的基于扩散的风格预测器直接从音频预测目标表情。通过这种方式,DreamTalk 可以利用强大的扩散模型有效地生成富有表现力的面孔,并减少对昂贵的风格参考的依赖。实验结果表明,DreamTalk 能够生成具有多种说话风格的逼真说话面孔,并实现准确的嘴唇动作,超越了现有的最先进的同类产品。DreamTalk 可以利用强大的扩散模型有效地生成富有表现力的面孔,并减少对昂贵的风格参考的依赖。实验结果表明,DreamTalk 能够生成具有多种说话风格的逼真说话面孔,并实现准确的嘴唇动作,超越了现有的最先进的同类产品。DreamTalk 可以利用强大的扩散模型有效地生成富有表现力的面孔,并减少对昂贵的风格参考的依赖。实验结果表明,DreamTalk 能够生成具有多种说话风格的逼真说话面孔,并实现准确的嘴唇动作,超越了现有的最先进的同类产品。

关于DreamTalk免责声明

本站AI工具集 | 人工智能工具箱收录的DreamTalk官网链接来源于网络,不保证其链接的准确性和完整性,同时,在2024年1月10日 上午10:51收录时,该网站上的内容,都属于合规合法,后期DreamTalk网站的内容如出现违规,可以直接联系网站管理员进行删除,AI工具集 | 人工智能工具箱不承担任何责任。

相关导航

广告也精彩

暂无评论

暂无评论...