当前位置:首页>python>Python & MATLAB 到 光学生成模型(2)

Python & MATLAB 到 光学生成模型(2)

  • 2026-09-08 01:53:00
Python & MATLAB 到 光学生成模型(2)
导读

上一期我们已经进行了相关介绍,本期在进行更详细的介绍,近年来,生成式人工智能(Generative AI)在图像生成、自然语言处理、音乐创作乃至蛋白质设计等领域取得了突破性进展,推动了从大模型(LLMs)到具身智能与AI内容生成的广泛应用。然而,随着模型规模的不断扩大,其对计算资源、能耗及推理时间的需求急剧增长,模型的可扩展性与碳排放问题也日益凸显,亟需发展更加高效、低功耗的替代实现路径。

光学生成模型(Optical Generative Models),提出利用光学系统直接完成生成任务的新思路。该方法受扩散模型启发,通过一个轻量级数字编码器,将二维高斯随机噪声快速映射为相位结构,从而构建“光学生成种子”。这些种子经过预计算后,可在实际生成阶段被随机调用,并通过光学系统实现“瞬时生成”。

具体而言,在光学实现过程中,每一个生成种子加载至空间光调制器(SLM),在平面波照明下,经由预优化的衍射解码器进行自由空间传播,即可直接生成符合目标数据分布的图像。整个生成过程无需复杂的数字推理计算,核心计算由光的传播过程自然完成,从而实现高并行、低功耗的生成机制。

实验结果表明,该光学生成模型在多类数据集(如手写数字、时尚图像、人脸及艺术风格图像)上的生成性能可与传统数字神经网络模型相媲美。同时,基于可见光自由空间系统的实验验证进一步证明了该方法在实际硬件中的可行性。

综上,光学生成模型为构建高效、可扩展、低能耗的生成式AI系统提供了一条全新的技术路径,展现出“光学计算 + 生成模型”深度融合的广阔前景。


一 、四类扩散模型

  • diffusion_digital
     - 标准数字扩散模型
  • snapshot_optical
     - 快照光学生成模型
  • multicolor_optical
     - 多色光学生成模型
  • iterative_optical
     - 迭代光学生成模型

其中迭代式光学生成模型如图所示:图中 a、b 和 c 面板中的图像均由 AI 生成。a:迭代式光学生成模型的示意图。在每一个时间步(timestep)中,将上一个时间步经过噪声扰动后的样本输入到光学模型中。经过光波传播后,系统记录多通道(多颜色)信息,并在加入预设噪声调度后,作为下一次光学迭代的输入。在最后一个时间步中,由图像传感器阵列记录输出光强,用于生成最终图像。b:该迭代式光学生成模型的训练方式类似于数字域中的扩散概率模型(DDPM)。c:在完成训练之后,在无监督(盲推理)阶段,迭代式光学生成模型可以从高斯噪声分布(时间步 T)逐步重建目标数据分布,并在时间步 0 生成最终图像。


二 、模型训练
训练环境
Pytorch
2.8.0
Python
3.12(ubuntu22.04)
CUDA
12.8
GPU
RTX 5090(32GB) * 1
CPU
25 vCPU Intel(R) Xeon(R) Platinum 8470Q
内存
90GB

三 、结果
训练10轮
训练30轮
训练79轮

最新文章

随机文章