在过去几年间，说起最引人注目的人工智能团队一定少不了DeepMind。它不仅开发了AlphaGo等占据各大新闻头条的人工智能，还在许多科学领域帮助科学家推进了科学的前沿。DeepMind团队研发的各类人工智能已经在“蛋白质折叠问题”上取得重大突破，为化学界提供了预测分子内电子分布的工具，还带来了识别数学结构和模式的机器学习。
近日，DeepMind团队又带来了另一项惊喜。它与瑞士等离子体中心（SPC）合作，共同开发了一种基于深度强化学习的等离子体磁控制的新方法，并首次将它应用在现实世界的等离子体控制中，这项变革性的技术为推动核聚变研究开辟了新途径。研究成果已于近日发表在《自然》杂志上。
“人造恒星”托卡马克
为了解决全球能源危机，研究人员长期以来一直在寻求一种无限的清洁能源。核聚变正是一个有力的候选。通过粉碎和聚变氢，这个过程能够释放出巨大的能量。这种反应在宇宙中几乎“随处可见”，它为包括太阳在内的恒星提供着动力。
在地球上，科学家也试图“建造太阳”。重现这类极端条件的方式之一是使用一种被称为托卡马克的装置。
托卡马克是一种磁线圈环绕的甜甜圈形状的真空装置，它借助强大的磁场将等离子体限制在数亿摄氏度的极高温状态下，这甚至比太阳核心还要热，从而让氢原子之间发生核聚变反应。这种方法被广泛采用，目前全世界约有几十台投入使用的托卡马克，包括中国著名的“东方超环”（先进实验超导托卡马克实验装置）。
在这项新研究中，位于SPC的托卡马克装置允许各种等离子体位形的存在，因此也被称为可变位形托卡马克（TCV）。一个等离子体的位形与它在设备中的形状和位置有关，也就是说，科学家可以用它来研究限制和控制等离子体的新方法。
图一：TCV照片以及三维模型。| 图片来源：DeepMind & SPC/EPFL
但装置中的等离子体本质上是不稳定的，要维持核聚变所需的过程成了一个复杂的挑战。例如，控制系统需要协调托卡马克的许多磁线圈，并以每秒数千次的频率调整它们的电压，确保等离子体不会接触到容器的墙壁而带来问题。
利用AI帮助解决问题
在这项新研究中，研究团队描述了如何通过AI算法在TCV上建立并运行控制器，成功控制了核聚变等离子体。团队使用一个结合了深度RL和模拟环境的学习架构，建立了一套控制系统，它既能保持等离子体稳定，又能精确地将等离子体塑造成不同形状。
团队面临的第一个问题便是数据的缺乏。TCV在一次实验中最多只能维持等离子体约三秒，之后需要15分钟来冷却和重置，才能进行下一次尝试。不仅如此，多个研究团队经常共同使用托卡马克，这进一步限制了可用于实验的时间。
鉴于这种障碍，他们首先转向模拟器来帮助推进研究。SPC已经建立了一套强大的模拟工具，能够对托卡马克的动态进行建模。这些工具可以让深度强化学习系统学会在模拟中控制TCV，然后在真正的TCV上验证这些结果。
虽然这是一种更廉价、更方便的方法来训练控制器，但仍然存在许多障碍。比如，等离子体模拟器运行得很慢，需要数小时的计算机才能模拟一秒的真实实验。此外，TCV的状况每天都会发生变化，这就需要在物理和模拟方面进行算法改进，适应硬件的实际情况。
而最核心的问题仍然在于复杂性。现有的等离子体控制系统非常复杂，TCV的19个磁线圈每一个都需要单独的控制器，同时，每个控制器都使用算法来实时估计等离子体的特性，并相应地调整磁铁的电压。
这项新研究的架构彻底改变了这一点，它使用单一的神经网络一次性控制所有线圈等离子废气处理设备，并自动学习怎样的电压条件最适合实现某种等离子体位形。
团队首先展示了一个单一的控制器操纵等离子体的许多方面的能力。控制器首先根据要求的形状塑造等离子体，然后将等离子体向下移动并与壁分离，用两条“腿”将其悬挂在容器的中间。等离子体被稳定住，这也是测量等离子体特性所必需的。最后，等离子体被引导回到容器的顶部，并安全地销毁。
图二：用深度强化学习训练的控制器通过实验的多个阶段引导等离子体。左图是实验期间托卡马克的内部视图。右图是重建的等离子体形状。| 图片来源：DeepMind & SPC/EPFL
随后，团队成功创造了一系列的等离子体形状。例如，他们制作了一个有许多“腿”的“雪花”形状（下图右2），这种形状通过将排气能量分散到容器壁上的不同接触点，可以帮助降低冷却的成本。
图三：深度学习控制器创造出了一系列形状各异的等离子体。| 图片来源：DeepMind & SPC/EPFL
团队还展示了一个非常接近正在建设的下一代托卡马克ITER（国际热核聚变实验堆）提案的形状（上图中间），帮助预测ITER中等离子体的行为。他们甚至还尝试了一些以前在TCV中从未试过的形状，它被称为“液滴”（上图左1），此时容器内同时有两个等离子体。
可以这么说，这个系统能为所有这些不同的条件找到控制器。只要改变设置的目标，算法就能自主找到一个合适的控制器。
核聚变的未来
这种“等离子体塑造”的实现说明，系统已经成功地控制了等离子体，而且更重要的是，这让科学家能够研究等离子体在不同条件下的反应，提高我们对聚变反应堆的理解。
这项研究是另一个有力的例子，展示了机器学习可以帮助科学家应对重大挑战，并加速科学发现。对托卡马克控制的成功演示，显示了人工智能在加速和协助核聚变科学方面的力量。
DeepMind团队认为，未来人工智能的使用将越来越复杂。这种自主创造控制器的能力甚至可以用于设计新型的托卡马克及其控制器。他们同时预测等离子废气处理设备，在未来几年，强化学习或许有望成为工业和科学控制应用的一种变革性技术。
编译：Takeko
本文到此结束，希望对大家有所帮助！