AI绘画如今怎样了?

在文生图领域,首先打响战场的是OpenAI的DALLE,然后是谷歌的Imagen,其实前两者并没有打出较大的名声(至少在外行看来).但是由于基于Latent Diffusion模型的Stable Diffusion的开源以及广大网友们的无私的奉献,使得AI绘画越来越火.这其中也包括NovelAI泄露的自己的大模型,包括webui的方便使用,也包括国内外许多开发者的帮助.

再到后来一些大模型微调方法,人物身份保持的方法,ControlNet等等有趣又有用的模型不断出现进一步增加了热度,这对于个人用户无疑是件好事.

目前在这领域的领头羊,一个是Stability公司,另一个是NovelAI.

国内目前也有腾讯的混元大模型,由于目前在打价格战,也比较便宜.但不得不吐槽,国内大模型想要去使用真是麻烦,官网界面不明显,想找个直接申请key或者直接使用的地方都不方便.

而说到Stability,本身stable diffusion其实是一个人与公司runway合作,然后Stability公司提供了资源并说服拿到了所有权.

据报道，该公司在实现营收方面遇到了困难，无法完全覆盖巨额的服务器和人才招募费用。此外，公司的管理层也面临着一些问题和变动。

2024 年 3 月，Stability AI 创始人兼首席执行官 Emad Mostaque 辞去了职务，转而追求去中心化人工智能。此外，公司的一些核心成员和研究人员也相继离职。这些变动对公司的运营和发展可能产生一定的影响

然而目前它的商业道路充满艰辛,几度竟然濒临破产,也是令人唏嘘.目前推出了Stable Diffusion 3,官方当说是是迄今为止最先进的图像模型,它采用了最新的文本到图像技术,在多主题提示、图像质量和拼写能力方面的性能都有了很大提高.目前只支持API调用.

在这之前有SDXL Turbo与Stable Diffusion XL,这两者都是开源的.

如果说Stability更偏向模型本身,那么NovelAI更偏向于模型应用与二次元绘画领域,它的数据集来自都是一些动漫图片.它目前推出了NovelAI Diffusion Anime V3模型,当初泄露的是v1,不过novelAI本身使用价格还是不低的. 有很多基于stable diffusion模型的,比如Anything和waifu diffusion等,还是很不错的.

虽然目前国内也有许多文生图的模型,但很多并不敢太大胆,而且使用时还有很多限制.我也建议通过webui使用,目前有AUTOMATIC1111的webui,还有webui-forge,通过连接节点的ComfUI.

总结一下,如今AI绘画热度没有开始那么高,当然一开始也有许多人炒作的成分.但一个明显问题就是商业能力不足,但是开源使得个人门槛低,AI图片质量良莠不齐.

对于工业上的使用也还有距离,不过目前有些中小公司已经逐渐使用AI图片作为素材了,这也降低了开发成本. 除开娱乐,AI绘画还能走向何处?

FYI

新手指南 | AiDraw (novelai.dev)