首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

TwinSyncbot最全使用教程来啦!没看过的小伙伴千万别错过!

要说2023年什么最火?当然是生成式人工智能。这不近期刚在Discord上发现了一款AI数字人视频编辑工具,不需要训练数字人,能够基于源视频快速完成换脸、同步说话,生成新的视频,还有照片说话功能,挺有趣的,相信也有不少小伙伴应该也有在关注。这个工具叫TwinSyncbot,想尝鲜的小伙伴可以加入他们的服务器用用看。我来说说我的使用体验,刚好给刚使用的小伙伴出个教程,更快地上手使用。

TwinSyncbot是美国硅谷一家叫TwinSync Corporation面向discord研发的一款基于人工智能技术的数字人视频制作工具,该discordbot使用了TwinSync最新的AI唇形同步技术和无训练克隆算法模型,无需提前训练,能够实现数字人的唇形与音频高度同步,使得口型与音频内容完美匹配。此外,它还可以捕捉和复制用户的面部表情和动作,为数字人增添更加真实的特征,仅凭上传的源视频、图片、文本、音频,就能快速生成新的视频,目前TwinSyncbot上线了3个功能,分别是photo-talking、faceshift、talksync,都是输入相应指令,填写视频、音频、图片的地址就能快速使用照片说话、换脸、视频说话等功能。

(TwinSync官方教学视频)

上面是他们官方发出来的教学视频,大家可以看一下,看不懂的小伙伴也别着急,下面我会为各位小伙伴详细图文解说下各个功能。

对了,想尝鲜该bot的小伙伴要注意,要登陆discord的应用端而非web端,因为使用TwinSyncbot的指令时,需要复制上传成功后的视频、图片、音频的链接,目前discord只有应用端才有此功能,一定要注意。下面我说下每个功能指令的使用方法。

首先看下照片说话功能,也就是photo-talking,具体的使用方法是:在TwinSync服务器中的#photo-talking频道中,将需要使用的照片成功上传到该频道中,然后右击图片,复制图片的链接,然后在下方输入框中使用“/photo-talking”指令,然后根据需要选择发音人、填写图片的链接、输入说话的文本,点击发送即可,生成成功后,结果会以DM形式私发给你。

需要注意的是,右击图片复制图片链接时,一定复制的是图片的链接,而不是复制消息的链接。

下面看下换脸功能,就是faceshift,具体操作如下:在TwinSync服务器中的#faceshift频道中,将需要使用的换脸的源视频和换脸照片成功上传到该频道中,然后同理,右击源视频和换脸照片,复制它们的地址链接备用,接着在该频道中的输入框输入“/deepface”指令,依次输入源视频和换脸照片的地址链接,发送即可,生成结果还是以DM形式私发给你。

最后,看下视频说话功能,对应的就是talksync,使用方式其实和照片说话、换脸是一样的,具体方法如下:在TwinSync服务器中的#talksync频道中,将需要使用的源视频和源音频成功上传到该频道中,然后分别右击复制他们的链接备用,在该频道输入框输入“/videotalking”指令,分别填写上面复制好的源视频和源音频的链接,发送,生成结果还是DM私信查看。

这里需要注意的是,在复制源音频的链接时,一定要右击音频的名称才能复制链接,不少小伙伴会在这里右击音频区域,会发现没有复制链接的选项,所以,一定要右击音频名称,重要的事情说3遍。

所以,TwinSyncbot总体使用下来体验还是很好的,能够使用的场景有很多,不管是社交服务器中提供更加生动地交流体验,使得聊天更加有趣、互动更加丰富,还是游戏服务器中增强游戏的沉浸感和娱乐性,都能够带来全新的体验,不过很多细节需要注意,我再次总结下需要注意的点:

第一,需要使用Discord的应用端而非web端(个人觉得PC应用端使用比较方便,当然,移动应用端也可以使用);

第二,使用的源视频和源照片格式,必须符合官方的要求,这个可以在#rule频道中查看;

第三,为达到比较好的效果,上传的源视频必须满足以下条件:只包含单人、头部位置稳定,人物始终在镜头里面、无大角度侧脸、无面部遮挡且露出脖子;

第四,复制源视频、源音频、图片时,一定是右击“复制链接”,而非“复制消息链接”,特别是复制音频链接时,需要右击音频的名称;

好啦,基本了解这些后,就能熟练使用TwinSyncbot啦,大家快去试试吧!

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OQOF1TPmtNhpGE0md3F2tiRQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券