【简介】感谢网友“网络”参与投稿,这里小编给大家分享一些,方便大家学习。
熟悉我的小伙伴,应该知道我一直在关注AI生成图片领域,也一直在持续分享相关教程。最近关注点稍微侧重到了LLM(大语言模型)上,回头一看,AI绘画又进化了。今天带来一款超强AI绘画模型,能一键让照片说话、唱歌。以下是生成的视频:
安装
这款AI一键让照片说话的模型叫,是由西安交通大学的研究人员提出的,它可以让照片里的人物跟随音频的输入动起来,且头部运动、面部表情比较真实,下图是官方展示的效果图,还在等什么呢,即刻拥有它!
①建议先部署SD(--),可以参考以下文章:
因为SD已经支持了的插件了,后续从SD生成的图片,都可以直接一键生成说话、唱歌视频。
(当然了,你也可以不部署SD,直接使用)
②安装插件:
打开并运行SD ,然后选择“扩展”,在“从网址安装”里,输入以下地址:
点击安装,需要等待3~5分钟。
安装完成后,重启一下SD ,即可在功能栏里看到“”插件栏了。
安装
是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序,是运行的必要支持程序。可以从以下网址下载获得:
解压后,需要将的bin文件夹路径添加到系统环境变量里:
手动添加环境变量:控制面板→系统→高级系统设置→环境变量→Path→编辑→添加
下载模型
运行,还需要下载一些模型,可以从以下链接获得:
需要下载前面的10个文件:
找到之前在SD里添加的插件(在SD文件夹\里),然后新建一个文件夹“”:
将上面下载的10个模型文件复制进去,其中和hub两个压缩文件还需要解压到文件根目录中。
至此,你已经拥有了一键让图片说话的能力了。
试试效果
在SD 的功能栏里,选择“”,然后将图片(支持从SD中加载)和音频传入,音频建议在10秒以内,不然显卡压力有点大。点击“生成”按钮,即可一键使照片说话。
相关设置项说明:
同时记得勾选“面部增强”,使整体面部效果更加自然些。
最终得到了文章开头的会说话、唱歌的小姐姐了,她还会很自然地眨眼睛呢,成就感满满有木有!感兴趣的小伙伴快去试试吧~
往期回顾
AI绘画相关:
其他AI相关:
关注我,跟我一起疯狂学习AI,请在右下角点一下“在看”~