苹果官方发论文给Stable Diffusion点赞?用AI秀肌肉18秒出图
【ashkeling专稿,未经授权不得转载!】
ashkeling报道/近两年AIGC内容的热度有多火爆可谓尽人皆知,而在其中,而在其中通过第三方软件、网站甚至是Discord频道,寥寥数语就可以得到还不错的图片的AI绘图,更是引发了无数网民的狂欢。而在AI绘图方面,开源的Stable Diffusion无疑是其中相对成熟且易用的工具之一。
近日,一直在硬件算力和机器学习上持续耕耘的苹果,在官方博客发文表示,它们已经在Github上发布了针对 macOS 13.1 和 iOS 16.2 平台的Stable Diffusion的 Core ML(2018年发布的机器学习框架) 优化,以及将相关模型部署到Apple Silicon设备(M系列芯片的苹果设备)上的代码。
“Stable Diffusion”被翻译成了“稳定扩散”
如今在AI绘图领域可谓是百花齐放,从Midjourney、DALL-E 2到NovalAI,苹果选中Stable Diffusion除了其开源,以及支持本地化运行的特性,自然为苹果省去了不少麻烦,也成了其受苹果青睐的重要原因。
在博客中,苹果表示,“在本地设备上部署 Stable Diffusion 比基于服务器的方法更可取的原因有很多。首先就是最终用户的隐私将受到保护;其次,初始下载后,用户无需互联网连接即可使用该模型;最后,本地部署此模型使开发人员能够减少或消除与服务器相关的成本。”
除此之外,Stable Diffusion的能力以及其社区的活跃,也让该工具从一众软件中脱颖而出,自 2022 年 8 月首次公开发布以来,由于Hugging Face、Github上的开源项目,该工具不仅支持了多种语言的输入,苹果也表示“目前已经有了个性化StableDiffsion的方法”。
在以上基础之上,Stable Diffusion这种能够在本地运行、具有知名度且相当复杂的AI模型,也是苹果用来展示旗下芯片在机器学习、AI等热门领域实力和优势的绝佳工具。毕竟在本地跑这些模型就大多只能依靠GPU算力。
据苹果的说法,Stable Diffusion的执行管道包含了4个不同的神经网络,拥有总共约12.75亿个参数,“使用 Stable Diffusion 获得令人信服的结果可能需要大量时间和迭代”。
但根据苹果公布的官方测试数据,以“a high quality photo of an astronaut riding a (horse/dragon) in space”,为关键词在Stable Diffusion的多个模型和版本中进行图片生成测试时,前不久刚更新的8G M2芯片的MacBook Air却只用分别用了18秒和23秒就在三个不同的模型中生成了一张图片。
即便是M1芯片的iPadPro 8GB版本,以同样关键词生成图片的时间也不过只有29秒和38秒而已。
而在苹果公开的标准CompVis/stable-diffusion-v1-4测试的性能基准中,搭载64核的M1 Ultra芯片的Mac Studio更是只用了9秒钟。
在相关新闻下,有网友表示,“我3070画张图也要十多秒”,也可以大概推测苹果Apple Sillicon芯片的GPU及相关硬件单元在AI和机器学习方面的能力。而这从近期部分游戏公司和互联网同行的动作来看,或许是未来生产力的重要方向。苹果的生产力工具这一概念,再也不会只是网友口中的音视频内容创作了。
前不久,中国台湾游戏公司雷亚就公开发布招聘信息,招聘AI绘图方面的人员,其中灵活使用Midjourney等工具就是相关岗位的硬性标准,在TapTap上,甚至也已经有了将AIGC大规模投入游戏项目的团队和产品。
在苹果Github项目页面的Q&A中,还特别对在移动设备上部署Stable Diffusion的相关包的问题做出了回答,虽然目前M系列芯片在移动设备最少也只是搭载到了使用iPadOS的iPad Air 5上,使用iOS的iPhone依然是A系列芯片。
但在相关回答中依然提到了“因此.cpuAndNeuralEngine建议用于 iOS 和 iPadOS 部署”,并且提醒相关APP开发者,在用户使用相关软件时,要及时告知二进制文件的下载大小,“产生用户可能不满意的数据费用或存储影响”。
苹果还表示将对Apple Silicon芯片以及Core ML Stable Diffusion项目的代码进行优化,使其能够更充分地发挥苹果硬件的能力,更有效率地创作内容。
Stable Diffusion的母公司Stability AI无疑是相当幸运的,在今年10月接受了Coatue和光速的1.01亿美元,让自己成为AIGC领域第一家独角兽公司后,时隔一个多月,又得到了苹果的支持。
虽然长久来看,不排除苹果自己投入AIGC技术的探索,推出能更好地基于自家硬件的产品的可能,但当下有了苹果的战队,Stable Diffusion无疑将在一种AI绘图工具的竞争中取得一定优势,使得相关的开发者社区和用户群体进一步扩大。
如若转载,请注明出处:http://www.ashkeling.com/2022/12/504150