光子器件智能设计30年进展

近年来，人工智能的发展如火如荼。人工智能不仅极大的便利了人们的生产生活，同时也成为科学探索与研究的有力工具。当前，各个学科领域都在以其各自的方式积极与人工智能领域相交叉、结合，以期能够寻找新的重大科学突破。

图1. 人工智能与多领域的交叉融合艺术效果图

在与人工智能交叉融合的道路上，作为基础研究重要领域的光学走在了前列。目前光学与人工智能的结合主要包括两个方面：

一个方面是以人工智能为主体，利用光子来赋能AI，用光子或光路代替传统电子计算来实现更高效率的人工智能计算；

另一个方面是以光学为主体，利用人工智能算法来加速光学器件的设计与优化。

通过这两方面相辅相成的发展，光学与人工智能相互促进，实现了两个学科的合作共赢。

近期，来自美国斯坦福大学的Jonathan A. Fan团队在 Nature Reviews Materials 上发表综述文章 Deep neural networks for the evaluation and design of photonic devices，系统总结并梳理了应用人工智能算法来加速光子器件设计的发展历史、研究方法和问题挑战，同时根据近年来光学和人工智能领域的新进展，对这一领域的未来做了展望。

图2（封面）.光子器件设计艺术效果图

光子学在许多科学技术领域有着深刻的应用价值：

·集成光子系统使新型光源、通信和量子光处理器成为可能；

·亚波长尺度的金属和介质复合材料可以以可定制和的方式散射和束缚电磁波，实现光与物质的相互作用；

·超材料和超表面可以实现精确的波前调控。

光子系统通常通过如下两个问题中的一个来分析。

个是正问题：给定一个结构，它的电磁响应是什么?

这是两个问题中比较容易的一个，可以用许多成熟的数值电磁仿真软件或算法来解决。这些仿真可以准确地评估麦克斯韦方程组，但在评估大型光学结构和大批量仿真时，其所需要的计算资源非常大，计算时间和成本很高。

第二个是逆问题：给定一个理想的电磁响应，如何设计一个合适的光子结构?

由于解空间是非凸的，也就是说存在许多局部解，因此逆问题的解不能直接求出，并且求解过程非常具有挑战性。解决这个问题的方法通常被框定为一种优化练习，包括模拟退火、进化、目标优先和伴随变量算法。尽管目前人们在求解逆问题方面已经取得了很大的进展，但在给定目标和约束条件下，确定的器件结构仍然具有很大的挑战性。

实现机理

深度神经网络是一种通用的机器学习算法，它利用非线性处理层的串行叠加，实现对高度非线性数据关系的捕获和建模。深层神经网络由多层神经元串联而成。神经元是一个数学函数,将一个或多个值作为其输入,执行对这些输入值的加权和非线性操作并产生一个输出值(如图3)。

图3. 神经网络原理示意图

出于以下原因，深度神经网络有可能对光子技术的仿真和设计过程产生强烈影响。

首先，从机器人控制、药物发现到图像分类和语言翻译，深度学习是许多领域中捕捉、插值和优化高度复杂现象的、一种经过验证的方法。特别是考虑到最近数据科学领域的爆炸性进步，这些算法只会变得更加强大。

第二，深度学习是广泛、开源的。从TensorFlow到PyTorch的软件都是开源的，可以免费使用，这意味着任何人都可以开始实现和训练神经网络。此外，机器学习社区的研究人员践行着开放和共享的理念，使许多的算法公开可用并易于访问。还有许多教育资源，包括大学课程和网络课程，帮助研究人员了解神经网络的理论和实现。

第三，光子结构可以很容易利用广泛的电磁仿真工具进行比较和评估。这些广泛使用的电磁仿真工具可以量化结构的近场和远场电磁响应，这有助于逆问题的解决。此外，电磁仿真工具还可以用来计算解析和数值梯度，例如介电扰动对理想价值的影响。正如我们将要讨论的，这种梯度项的计算可以与深度学习相结合，从而产生全新而有效的逆设计模式，如全局拓扑优化。电磁仿真软件工具与深度学习编程包的实现，通过使用许多主流计算软件自带的应用程序编程接口，得以简化。

第四，有广泛可访问的计算资源，可以执行大量的电磁计算，这可以充分发挥深度学习方法的优势。云计算的普及使得任何有互联网连接的人都可以并行处理许多电磁仿真计算。此外，新的计算硬件平台的出现，如GPU和TPU计算平台，将大大提高电磁仿真和神经网络训练的计算效率和能力。

用神经网络建模的光子器件由两种类型的标签描述(如图4)。

图4. 基于神经网络设计光子器件机理总览

类包括描述该装置的物理变量，它包括该装置的几何形状、材料和电磁激励源。这些标签由变量x描述。

第二类描述与光谱和性能特征范围相对应的物理响应。这些标签描述的变量y。在电磁学中,光学响应可以被描述为一个单值函数的物理变量,所以给定输入x映射到一个y。例如,一个薄膜堆栈与一个固定的几何和材料配置生成一个单一的透射谱。然而，其逆过程却并不成立：对于电磁学中的大多数问题，给定的物理响应y映射到多个x。因此，根据网络处理的设备标签的类型，需要考虑不同类别的神经网络。在电磁学中，的两类神经网络是判别网络和生成网络。

深度神经网络在解决光子学的正、逆设计问题上是一种性的力量。

在过去的几年里，判别式网络已经被证明是麦克斯韦仿真工具的有效替代模型，可以学习和推广纳米尺度光学结构及其光学特性之间的复杂关系；

而通过学习光学器件数据的几何特征和使用麦克斯韦仿真软件进行无数据网络训练，生成网络模型已被证明是自由空间光学器件逆设计的一种新框架。

优缺点分析

基于神经网络的计算模型并不是传统电磁仿真的通用替代工具，传统的电磁仿真将继续是解决大多数问题的主要工具，但它们具有互补的优势和缺点。

神经网络的主要缺点是，它们需要数千到数百万个设备的大型训练集，这是一个巨大的一次性计算成本。如果传统的仿真和优化方法可以用相当或更小的计算预算来解决问题，那么坚持传统方法是更加明智的。

另一个方面，即使是训练得网络也不能保证准确性，当需要精确的物理计算时，也不应该用它来代替电磁仿真。应该指出,低维电磁系统所描述的一小部分设计参数通常可以使用一些诸如机器学习和优化包的经典统计工具来建模和优化。与深度网络的训练方法相比，该方法不需要进行大量的超参数调整，且训练效果良好。

基于神经网络的模型也有许多优点，使它们无二地适合于许多问题。

首先，训练有素的神经网络比传统的仿真运行速度快几个数量级，在仿真时间过长的情况下是理想的替代方法。

其次，神经网络的回归能力超过了经典的数据拟合方法，可以扩展到复杂的高维系统，因为神经网络可以容纳数千个具有可调参数的神经元。

第三，神经网络在模拟和设计许多利用相关基础物理的光学器件变体方面的计算效率特别高。从需要不同输入模式条件的光栅耦合器到需要不同振幅和相位特性的超表面部分，这些器件变体都可以很容易地通过训练单个条件神经网络来共同设计。

第四，逆设计的神经网络方法可以产生整体性能更好的电磁器件。

图5. 基于神经网络设计光子器件机理总览

如图5a所示是一种无条件深度神经网络，它从有限的光学器件参数训练数据集中学习参数空间的区域，并通过采样找到更好的器件设计参数。

而如图5b所示的条件神经网络可以为训练集中的数据插入的条件参数标签从而生成新的器件设计参数分布。比如在这个原理图中，条件神经网络可以通过学习工作波长在800和1000纳米的训练集器件的分布，从而内插工作在900纳米的器件的分布。

然而在图5c所示的经典数据拟合、优化等方法只能用于搜索训练网络中的潜在空间以寻找器件设计参数，并且其搜索空间被限制在训练集的参数分布范围内。

此外，全局拓扑优化神经网络已经被证明可以取代传统的基于梯度的优化器。因此，基于神经网络的优化的持续进步有望带来更好、计算效率更高的设计算法。

未来展望

尽管目前基于神经网络进行光子器件设计已经取得了很大进展（如图6所示），但是展望未来，Jonathan A. Fan认为人们仍然需要多方面的创新来推动光子器件深度学习算法的能力，以实现复杂光学器件的逆设计。

图6. 基于神经网络设计光子器件的历史发展时间线

首先，虽然通用的机器学习算法将继续在解决光子学问题中发挥作用，但人们需要需要发展将麦克斯韦方程组的基础物理结构与机器学习紧密结合的新概念。将机器学习与基于物理的仿真工具相结合的全局拓扑优化网络就是这样一个例子，它展示了新的混合算法如何增强神经网络的能力。最近也有证据表明，神经网络可以被训练用于求解微分方程。为了将物理与神经网络相结合，人们需要在网络架构、训练程序和损失功能工程以及独立或共同使用判别式和生成式网络的全新方法方面有新的创新。基于物理计算的无数据训练用于训练神经网络，将成为利用机器学习解决光子问题的高效方法。

其次，人们需要开发运行时间比传统的全波求解器快得多的新的电磁仿真工具。快速求解器是必需的，因为随着设备复杂性的增加，需要更大的监督学习训练集。未来，特定应用的电磁解算器将在深度学习-光子问题的超高速解算器中扮演重要角色。一种方法是利用神经网络增强的预条件对现有的麦克斯韦求解器进行扩充。通过一种神经网络，它可以预测现有电磁问题的近似解，可以将该解作为求解器的起点，从而大大加快计算速度。一些计算效率高的计算结构散射特性的专门算法，如积分方程解和转移矩阵法，也值得仔细研究。

第三，从数据使用和用户交互的角度来看，用于解决光子问题的神经网络的训练和改进需要更好地简化。目前，每提出一个新的机器学习问题，数据科学家都需要从头开始训练和微调一个神经网络，这种方法费时费力，难以大规模推广和应用。然而，在最近的一个实验中，从一个可以预测同心圆壳散射体散射谱的训练网络中获得的网络权值利用迁移学习转移到一个拟预测介质堆光谱特性的网络中，从而提高了后者的训练精度。因此，神经网络迁移学习的应用，将大大有助于自动化基于光子的机器学习算法的设置和训练程。

最后，Jonathan A. Fan呼吁光学领域的科学家和研究人员从计算机科学社区文化中汲取灵感，参与共建一种更加开放的共享文化。在计算机科学领域，人工智能技术的极大进步和发展，在某种程度上可以归因于计算机科学家愿意通过解决同一个问题来公开分享算法和基准方法。在计算机科学共享精神的启发下，Jonathan A. Fan研究团队已经开发了用于共享纳米光子系统的器件设计和逆设计代码的在线知识库MetaNet（http://metanet.stanford.edu/）。

截至本文发表时，MetaNet已经有超过100,000个自由形式的元化结构的设计文件，以及用于局部和全局拓扑优化的代码。Jonathan A. Fan希望，通过光子社区内的持续分享与交流，人们能够就需要解决的重要设计问题、开放源代码训练集和基本代码制定达成一致，这样人们就可以在彼此的算法方法、基础上进行下一步的迭代、优化和提高。这样，人们就可以通过合作有效地将光学器件的设计、优化及发展推向一个新的阶段。

结语

在这篇综述文章中，首先，Jonathan A. Fan团队概述了判别式和生成式神经网络，如何设计实现人工神经网络，以及如何通过不同的数据结构类型来建模求解不同的电磁问题。

其次，文章讨论了深度判别网络作为电磁求解的模型如何加速了正、逆问题的求解。

第三，文章详细介绍了生成对抗网络如何成为逆向设计的自然框架，从而实现纳米光子器件的全局优化。

最后，文章将深度学习方法与电磁问题的经典建模仿真工具进行了比较和对比，探讨了未来研究的路径，并提出了加速该领域进展的研究实践建议。

对于这个领域内的研究人员或者想要进入这个领域的初学者，这篇综述提供了涵盖了从微波到光频率的电磁技术的基本机器学习概念的教程介绍和当前研究发展的全面指南。