今天，AI 行业发展更进一步，将“光”引入 AIGC 领域，完全基于系统硬件物理定律，首次实现了具备特定特征的全新（未见过的）图像生成。 来自加州大学洛杉矶分校的研究团队成功实现了手写数字、时尚产物、蝴蝶、人脸及艺术品（如梵高风格）的单色与多色图像光学生成，且整体性能媲美基于数字神经网络的生成式模型。 研究团队表示，这一光学生成式模型有望为节能且可扩展的推理任务开辟新路径，进一步挖掘光学与光子学在 AIGC 领域的潜力。同时，这种光学系统与机器学习方法的融合，有望应用于增强现实（AR）和虚拟现实（VR）领域。 在一篇同期发表的新闻与观点文章中，法国国家科学研究中心 FEMTO?ST 研究所研究员 Daniel Brunner 认为，这项成果具有重要的技术与科学意义，是迈向利用非常规物理系统构建生成式计算模型的重要一步。 在 Brunner 看来，由于光子处理信息具有天然优势，如可以同时处理整个三维体积中的数据，“光学生成式模型也有望具备生成三维图像的潜力”。 Brunner 表示，要使未来的光学生成式模型更强、更灵活，可能还需要构建“同时采用光学编码器与光学解码器的模型”，并尝试构建多层解码系统，运用更复杂的光学现象。 “理想情况下需借助可扩展的集成电路技术，同时避免当前数字硬件编码所需耗时耗能的数据预处理环节。即便在电子学、光学物理计算及两者融合领域历经数十年研究后，这仍将是一项极具挑战性的任务。” 近年来，生成式数字模型已经发展到能够合成多样化的高质量图像、类人的自然语言、全新的音乐作品，甚至设计出全新的蛋白质。这些新兴的生成式 AI 技术在包括大语言模型（LLM）、具身智能以及 AIGC 等应用中发挥着重要作用。 然而，随着生成式模型的成功应用，其规模也迅速扩大，对电力、内存资源的消耗日益加重，同时推理时间也显著增长。其可扩展性和碳足迹，正成为日益关注的问题。 尽管已有多种方法试图降低模型规模与能耗，并提升推理速度，但依然迫切需要新的路径，来构建高能效、可扩展的生成式 AI 模型。 在此背景下，研究团队提出了一种受扩散模型启发的光学生成式模型，其编码器为传统数字实现，而解码器则由光学元件构成。 在这一架构中，一个浅层、快速的数字编码器首先将随机噪声映射为相位图案，这些图案作为目标数据分布的光学生成种子。随后，一个联合训练的、基于自由空间传播的可重构解码器对这些种子进行全光学处理，从而生成前所未见的图像，并遵循预期的数据分布。 值得注意的是，除了浅层编码器阶段用于产生照明功率与随机种子，该光学生成式模型在图像生成的过程中几乎不消耗任何计算资源。 在快照光学生成式模型中，每幅图像或输出数据的快照光学生成，可在需要时通过随机访问这些预先计算的光学生成种子之一来实现。所需图像合成完全依赖光在自由空间中的传播过程，并由一个优化后的、固定状态的衍射解码器完成。 迭代光学生成式模型则在每一个时间步，前一步生成的带噪声图像被输入光学系统。经过波的传播后，多色信息被记录下来，用于提供给下一次光学迭代，同时加入一些预设的噪声。在最后一个时间步，图像传感器阵列记录输出强度以完成最终图像生成。当模型完成训练后，在盲推理阶段，迭代光学生成式模型会逐步从高斯噪声分布重建目标数据分布。 此外，研究团队还展示了如何通过在空间光调制器（SLM）上直接实现从强度到相位的转换，并结合在图像传感器平面上的光电转换。他们能够利用迭代光学生成式模型实现复杂的域映射——尽管其性能和图像多样性相比使用数字编码器的迭代光学生成式模型有所降低。 为了展示快照式和多色光学生成式模型，研究人员搭建了一个基于自由空间、工作于可见光波段的硬件系统。波长为 520?nm 的激光被准直后，用以均匀照射 SLM。SLM 显示的是由浅层数字编码器处理并预先计算得到的相位图案，也就是光学生成种子。 这些编码后的相位图案通过分束器后调制光场，接着被另一块 SLM 处理，该 SLM 作为固定或静态的解码器使用。对于每一个光学生成式模型而言，优化后的解码器表面状态是固定的，而同一套光学架构可通过切换状态，生成符合不同目标分布的图像。在快照式光学生成式模型的输出端，生成图像的光强信息由图像传感器捕获。 根据所训练的数据集，该光学生成式模型能够输出梵高风格的人物、建筑或植物图像，也可以生成 0 到 9 的手写数字图像，或是时尚配饰的图像。其中，数字和配饰图像为黑白图像，而梵高风格的图像则为彩色图像。通过一个纯粹基于硬件物理规律实现的机器学习模型，直接生成具有特定特征的全新图像，此前尚未实现。 图｜多色光学生成式模型的数值和实验结果，用于创作绚丽的梵高风格艺术作品。与采用 1000 步迭代的教师数字扩散模型对比。 当向模型输入随机种子时，虽然生成的图像各不相同，但仍属于与训练数据相同的类别。例如，使用梵高风格肖像作为训练数据的模型，会输出一系列具有梵高画风的人物图像，而不同的随机种子可以生成戴帽子或不戴帽子的人物形象。 研究人员将他们的实验结果与实验模拟结果及完全数字化的生成模型进行了比较。他们发现，输入相同的随机种子，这些模型所生成图像的质量与光学生成式模型基本相当。 研究团队通过衍射网络架构，从噪声图案中演示了快照式光学图像生成。他们的框架能够从噪声中光学生成多样化图像，展现出一种高度理想的“创造性”快照图像生成能力，超越了以往研究的范围。 此外，在不更改架构或物理硬件的前提下，仅通过将衍射解码器重新配置为新的优化状态，就能实现适应不同数据分布的光学生成。这种光学生成式模型的灵活性，对于边缘计算、增强现实、虚拟现实显示等领域具有重要意义，也适用于各类娱乐相关应用。 研究结果还表明，在教师扩散概率模型（DDPM）的引导下，可以对目标分布的知识进行蒸馏。通过模拟扩散过程，迭代光学生成式模型能够以自监督方式学习目标分布，避免模式崩塌，并生成比原始数据集更加多样的结果。迭代式光学生成式模型还具有去除数字编码器的潜力，可根据不同数据分布生成多样化输出。 当然，光学生成式模型仍面临一些普遍性挑战。其中之一是光学硬件或系统配置中可能出现的错位和物理缺陷；另一个挑战在于光调制器设备或其表面可实现的相位位深有限，而这些器件用于物理呈现生成的光学生成种子及解码层。 为应对这些挑战，可以在训练过程中直接引入相关限制条件，使数值优化系统更好地符合物理限制与本地硬件的性能条件。这一策略相较于忽略位深限制的训练方法，在性能上实现了明显提升。 该分析中的一个关键发现是，仅需使用三个离散相位水平的相对简单解码器表面，就已足以完成图像生成。这为用被动的、薄层表面替代解码器带来了可能。 基于该方法，还可以设计空间或光谱复用的光学生成式模型。光学生成式模型还可实现三维图像的体积生成，为增强现实、虚拟现实和娱乐等应用带来新机遇。
