MIT新材料打造「人造突触2.0」，模拟深度学习训练提速100万倍！

牛顿家的计算机 2022年8月4日浏览：1701

近年来，随着科学家们不断推动机器学习的边界，训练日益复杂的神经网络模型所需的时间、能源和资金正在飞速增长。「模型能建，训练太慢」成为困扰越来越多研究人员的一个头疼问题。

最近，被称为「模拟深度学习」的人工智能新领域有望以更少的能源实现更快的计算。

可编程电阻器是模拟深度学习的关键部分，就像晶体管是数字处理器的核心元素一样。

通过在复杂的层中重复排列可编程电阻器，研究人员可以创建一个模拟人工神经元和突触网络，就像数字神经网络一样执行计算。这个网络可以被训练来实现复杂的人工智能任务，如图像识别和自然语言处理。

模拟神经网络的计算速度很大程度上取决于「人造突触」的传输速度。

麻省理工学院的一个团队要解决的就是这个环节。他们之前已经开发了一种人造模拟突触，现在要做的是，搞个新材料，超越原来的老版本。

这次，他们在制造过程中利用了一种实用的无机材料，让前文提到的可编程电阻器的运行速度达到了以前的版本的100万倍，同时也实现了比人脑中的突触快约100万倍。

此外，这种材料还使电阻的能源效率极高。与早期版本的设备中使用的材料不同，新材料与硅制造技术兼容。这一变化使得在纳米尺度上制造器件成为可能，并可能为整合到深度学习应用的商业计算硬件中铺平道路。

这项研究论文已经发表在Science上。

论文链接：https://www.science.org/doi/pdf/10.1126/science.abp8064

论文的通信作者、麻省理工学院电气工程和计算机科学系（EECS）的唐纳教授Jesús A. del Alamo说：

「凭借这一关键发现，加上MIT.nano的强大的纳米制造技术，我们已经能够把这些碎片放在一起，并证明这些设备本质上是非常快的，可以在合理的电压下运行。」

「该设备的工作机制是将最小的离子--质子--电化学插入绝缘氧化物中，以调节其电子传导性。因为我们用的设备非常薄，所以可以通过使用强电场来加速这个离子的运动，并将这些离子设备推向纳秒级操作」论文通信作者、核科学与工程系和材料科学与工程系的Breene M. Kerr教授Bilge Yildiz解释说。

论文通信作者、巴特尔能源联盟核科学与工程系教授和材料科学与工程系教授Ju Li说：

「生物细胞中的动作电位以毫秒级尺度上升和下降，因为大约0.1伏的电压差受制于水的稳定性。"在这里，我们在一个特殊的纳米级厚度的固体玻璃薄膜上施加高达10伏的电压，该薄膜可以传导质子，而不会永久损坏它。而且，电场越强，离子设备运行速度就越快。」

本文的共同作者还包括材料科学与工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。

这些可编程电阻器极大地提高了神经网络的训练速度，同时极大降低了进行训练的成本和能耗。这可以帮助科学家们更快地开发深度学习模型，应用于自动驾驶汽车、欺诈检测或医学图像分析等用途。

「一旦有了模拟处理器，就不用再训练其他人正在研究的网络了。你可以训练具有前所未有的高复杂度的网络，而这种复杂度是其他人无法承受的。换句话说，这不仅仅是一辆跑得快的汽车，而是一家飞机」。论文第一作者、麻省理工学院博士后Murat Onen说。

100万倍加速深度学习

模拟深度学习之所以比其数字深度学习更快、更节能，主要有两个原因。

首先，计算是在内存中进行的，所以巨大的数据负载不会从内存来回传输到处理器。模拟处理器也以并行方式进行操作。如果矩阵扩大，模拟处理器不需要更多时间来完成新的操作，因为所有的计算都是同时进行的。

麻省理工学院新的模拟处理器技术的关键元素被称为质子可编程电阻。这些电阻以纳米为单位，排列成一个阵列，就像一个棋盘。