为数据科学家提供无需复杂ETL的数据分析

DNN 一般都包含训练和推理两个阶段，这两个阶段的计算需求差异很大。在训练阶段，会向 DNN 输入大量有标注的样本，然后针对某个特定任务，使用迭代方法优化该 DNN 的参数。训练完成后，可使用该 DNN 来执行推理：以前向通过的方式向该网络输入一个数据（比如一张图像），经过该网络处理后计算得到所需结果。虽然某些应用也会使用 GPU 来执行推理，但对许多边缘设备而言，由于前述原因，使用 GPU 并不现实。

尽管电子 AI 加速器很灵活，但光神经网络（ONN）和光子回路可能为该应用与其它机器学习应用带来一次范式转换。光计算系统有望实现大规模的并行计算，同时设备尺寸还更小，而且在某些实现中的功耗非常低。事实上，在计算系统中使用光来实现通信的光互连（optical interconnect）技术已经在现如今的数据中心中得到了广泛应用，而且在计算系统更深处越来越多地使用光互连可能是持续扩展的关键。

不同于电互连技术，随着光学、光电和电子设备的更深度整合，光互连有望为通信的带宽密度和单位比特的能量消耗带来几个数量级的提升和改善。这种改进过的互连技术能实现电 - 光混合 DNN，而且这种低功耗、高并行的集成技术还可用作模拟光处理器的部件。

尽管光计算机潜力巨大而且也已历经约半个世纪的研究，但通用型光计算仍还不是一项成熟的实用技术。但是，推理任务（尤其是用于视觉计算应用的推理任务）已可使用全光学或光 - 电混合系统来很好地实现。举个例子，线性光学元件可以近乎「免费」地计算卷积、傅立叶变换、随机投影和许多其它运算，因为这些运算可作为光与物质交互或光传播的副产物。这些运算是 DNN 架构的基本构建模块，驱动着大多数现代视觉计算算法。我们有望以光速执行这些运算，同时功耗需求很低乃至没有。本文认为这具有变革性的潜力。

回顾光计算的历史

下图 1 展示了人工智能及相关光学和光子学实现的时间轴。其中展示了一些经过挑选的里程碑和论文，并重点关注了近期进展。

以具体年份计则如下所示：

• 1949 年，Donald O. Hebb 发表《行为的组织（The Organization of Behavior）》一书
• 1957 年，Frank Rosenblatt 提出感知器
• 1960 年，Widrow & Hoff 提出自适应开关电路
• 1964 年，Lugt 提出光学相关性（Optical correlation）
• 1982 年，John Hopfield 提出 Hopfield 网络；Kohonen 提出自组织特征图
• 1984 年，Goodman et al. 发表论文《用于超大规模集成电路系统的光互连（Optical interconnections for VLSI systems）》
• 1985 年，Farhat et al. 发表论文《Hopfield 模型的光学实现（Optical implementation of the Hopfield model）》
• 1986 年，Rumelhart et al. 提出使用反向传播的多层感知器
• 1990 年，LeCun et al. 使用 CNN 实现数字字符识别；Psaltis et al. 使用非线性光反应晶体的光神经网络（ONN）
• 2006 年，Hinton & Salakhutdinov 提出深度自编码器
• 2012 年，Krizhevksy et al. 提出深度 CNN
• 2017 年，Shen et al. 提出使用纳米光子电路的深度学习；Tait et al. 提出神经形态光子网络
• 2018 年，Chang et al. 提出光 CNN；Lin et al. 提出全光衍射神经网络
• 2019 年，Feldman et al. 提出高带宽光子神经突触网络

用于人工智能的光子回路

现代 DNN 架构是级联的线性层后面跟着非线性激活函数，而且这会重复很多次。最一般形式的线性层是全连接层。在这种情况下，每个输出神经元都是所有输入神经元的加权和。从数学上看，这可以表示成一种矩阵 - 向量乘法，从而可以有效地使用光学技术实现。也就是说我们可以使用光子回路来执行人工智能的相关计算。不过相关技术还面临着可编程性等有待解决的问题。

使用自由空间、透镜和复杂介质进行计算

还有一种可替代光子回路的选择：在自由空间或某种介质中传播的光场上直接构建计算能力。（见下图 2）从数学上讲，在自由空间中传播的波可用基尔霍夫衍射积分（Kirchhoff’s diffraction integral）来描述，这相当于让该场与一个固定的核（kernel）执行卷积。该运算又是卷积神经网络（CNN）的一大基本构建模块，而 CNN 又是最常用的视觉计算框架。

（编辑：柳州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!