【ashkeling专稿，未经授权不得转载！】

图源：Pixabay

ashkeling报道/没学过画画的你，是否有过这样的经历：在迸发的灵感的驱动下，脑中已经构思好了荡气回肠的史诗画面。想要将其画出来观赏，奈何手起笔落，望着纸上扭扭曲曲的线条陷入沉思。你暗想：要是能将脑子里的画面直接投到纸上，那该有多好！

我想画的 vs 我实际画出来的

别急，这篇最新出世的AI论文，或许能给你希望！

计算机领域居头把交椅的顶级学术会议CVPR（IEEE国际计算机视觉与模式识别会议）近期接收了一篇重磅论文（文末附链接），作者是来自大阪大学的Yu Takagi助理教授和Shinji Nishimoto教授。两位研究者在该论文中声称：利用Stable Diffusion这类潜在扩散模型（LDM），他们成功从人脑信息重建出了高精度的视觉信息，向着实现“所想即所得”迈出了重要的一步！

该论文介绍称，一直以来，计算机图形领域的研究者都在研究如何将从功能性磁共振成像（fMRI）获取的人脑信号重建为视觉内容，但一直受这类信号的低信噪比和与相对较小的 fMRI 数据样本量所困扰，进展较为缓慢。而由于人脑与深度学习模型的相似性，LDM扩散性模型的出现很好地解决了这一限制，让通过大脑信息重建高保真度图片变得可能。

重建原理演示图

两位研究者使用了来自四位受试者的数据集，这四名受试者被要求观看共计982张图片，每张图片重复三次，并通过fMRI技术收集其大脑活动信息。研究者将这些信号进行编码、解码、去噪等处理，并送入1.4版本的Stable Diffusion进行映射和训练，得到了最终的重建图像。

以ashkeling这样的非技术人员的眼光来看，实验所取得的效果实在是相当惊人。研究发现，针对同一图像，利用从四名受试者处取得的脑活动信息重建出的图像具有高度一致性。除了受试者对图片的细节理解有别所导致的重建差异外，重建出的图片在大体上与原图片已经大差不差，图片质量在受试者中表现出了较高的稳定度和准确性。

自一年多以前的生成型AI爆发以来，公众对AI技术的能力上限的认知一遍又一遍地遭到刷新。将脑内的想法进行实体化，这一只在科幻作品中出现过的神秘技术，在生成型AI的到来之下似乎也变得触手可及！这也不免让ashkeling陷入遐想：如今，我们还需要造价动辄千万的核磁共振机器对大脑进行扫描来获得大脑信息，但假如有朝一日摆脱了这一束缚，或许在AI扩散模型的技术加持下，将头脑中的想法投射入现实的装置将会在未来出现在消费电子领域。

例如，我们可以在入睡时戴上一个脑电波捕捉装置，并在第二天对我们所做的光怪陆离的美梦进行回看，甚至搭建一个属于自己的“美梦合集”。这将会是何等美妙的梦幻景象。

此外，此次AI扩散模型与脑科学的跨界相遇还提示了一个重要的趋势，即深度学习与人脑思考所表现出的高度相似性。正如原文作者所说，AI扩散模型的出现也是让这一突破性研究得以与我们相见的重要原因。在未来，借助最新的AI技术发展，脑科学领域的科学家们的研究进程或可以被大大推进。人类对心智的研究或许将取得重要的进展，让我们在破解迷雾重重的人类思维谜题之路上向前迈出突破性的步伐。

完整论文链接：https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full

项目主页：https://sites.google.com/view/stablediffusion-with-brain/