首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

AI画图又双叒革命了?华人小伙开发ControlNet让出图更可控!

还在为AI生成的角色肢体扭曲而头疼吗?想要用一个底稿同时测试多种不同画风吗?想要让你的AI生成结果更精准,更可控吗?全新的ControlNet技术帮你一次解决!这一技术由斯坦福大学的计算机在读博士Lvmin Zhang在情人节前夜发表,旋即因其强大的功能震惊全网创作者。

图源:Lvmin Zhang个人网站

ControlNet究竟强大在哪儿?简单来说,这一技术可以为AI扩散模型增加一个额外的输入,对AI的输出方向进行限制。如同在一望无际的沙漠上修建了道路与指示牌,为迷失方向的旅行者提供了前行的方向。

在ControlNet出现前,AI画师们想要产出具有特定特征的图像,就必须在“魔法咒语”上大下功夫——用户常常需要加上一系列的动作、位置修饰词语来描述图中角色的姿势、肢体特征等,而即便这样,出图也依然需要大量的运气成分。而利用ControlNet,AI可以通过草图、人体关键点特征、深度图、人体骨骼等特征按图索骥,产出满足特定要求的图片文件。

例如,假若你想要获得一只动物的图像,那么你可以首先提供一个勾勒有该动物雏形的手绘草图,再佐以相应的文字描述,AI便可以按照你所勾勒出的形状生成对应图片。显而易见地,通过调整输入Prompt,你可以在角色本身不变动的基础上快速调整与之搭配的画风、背景等元素,同时输出多个版本。

ControlNet还可以从图像中提取角色的肢体信息,再将这一信息应用于角色的生成。无需繁琐的咒语,用户就可以一步到位对角色的动作姿势进行自定义——这是极大的突破。

此外,据国内知名AI技术人士“勘云工造”表示,ControlNet目前甚至支持对手指骨骼进行绑定,这意味着此前广受诟病的“AI不会画手”这一重要缺陷将在未来的AI生成中大幅减少,大大增加出图成功率。

据原论文,ControlNet可给出的输入类型共八种,包括手绘草图、人体骨骼、语义分割图像、Canny边缘图像、人体特征点、霍夫变换直线、深度图等。用户可输入的远不止角色、动物等物体的特征,对场景、环境等非生物同样可以进行输入。在论文中,作者演示了利用霍夫变换直线为蓝本,生成不同风格的室内外场景,效果惊人。

社交媒体上,各路大神也纷纷出动,开始了对这一全新技术的大胆探索。来自Reddit的StableDeffusion板块的一名用户展示了自己的工作流,将3D制作软件Houdini中搭建出的白模与ControlNet联动,直接在白模的基础上生成不同角度的设计概念图。

此外,还有部分用户开始尝试用ControlNet处理连续帧生成3D动画。尽管在细节上仍然有较大的偏差区间,但相较ControlNet以前的生成效果,已经上升了一个台阶。

图源:推特@toyxyz3

从最初只能生成怪异梗图的DALLE到凭借流畅对话能力震惊世界的ChatGPT,AI技术在过去三年间所取得的迭代速率实在是让人惊讶。ControlNet技术的出现更是大幅提高了AI出图的精准性,这让AI生成图像技术向着成熟的生产力工具方向迈出了重要的一步。AI这匹桀骜不驯的野马被拴上了缰绳,让它能够更加有效地听取人类指令。随着入局的大公司日渐增加,AI技术还会有何种发展呢?GameLook满怀激动的心情翘首以待。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230227A05CDA00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券