本文经授权转自公众号AI科技评论（ID：aitechtalk）熟悉《三体》的科幻爱好者们都知道，三体人所在行星围绕着三颗恒星运行。不仅行星轨道极其不稳定，连三颗恒星之间的相对位置也变化无穷。所以，三体人经常要面临灭绝性的气候，不是严寒就是酷热，搞得三体人总是不能安心地建立长久的文明，时不时被打断。要么暂时像水熊虫一样脱水躲避灾难，要么就得从头再来。刘慈欣一贯擅长写硬核科幻小说，三体星系也有科学根据，也就是物理学中经典的“三体问题”。它是指三个质量、初始位置和初始速度都是任意的可视为质点的天体，在相互之间万有引力的作用下的运动规律问题。著名数学家亨利·庞加莱最早发现了三体问题中存在的混沌性质。而现在，人们已经确定，三体问题不能精确求解，这一点在《三体》中也有提及。所以，人们已经基本认命，满足于对三体问题的特殊情形进行研究。比如，由太阳、地球、月亮组成的星系（忽略其它行星），就构成了一个非常特殊的三体问题。实际上，三体问题不是完全的混沌，科学家在其中也找到了很多守恒量。而守恒量的确定是物理学研究中最常用、最漂亮也相当有效的方法，能对最终解提供很大的限制。但明知前方没有最完美的风景，科学家还会甘愿去探寻这些细枝末节吗？这种麻烦事，不如就让机器去做吧。这不，人工智能立马回应：“交给我吧（包括你们的地球）。”就在近日，北京大学物理学专业16级校友 Ziming Liu与《生命3.0》的作者Max Tegmark在国际权威物理学期刊《Physical Review Letters》上发表了一篇学术论文，提出机器学习算法AI Poincar´e，以数据驱动的方式，能够从三体等动力学系统轨迹中自动发现守恒定律！论文地址：https://arxiv.org/pdf/2011.04698.pdf这个算法以亨利·庞加莱(Jules Henri Poincaré）的名字命名，大约是因为庞加莱发现了三体问题中的混沌体质，而这一算法在5个哈密顿系统上进行了测试，其中一个就是2D三体问题（手动狗头）。据资料显示，一作Ziming Liu本科就读于北京大学物理学专业，2020年本科毕业后，进入麻省理工学院攻读物理学博士，博导正是Max Tegmark。而他的主要研究内容，正是物理学与人工智能的结合与交叉。论文发布不久，Max Tegmark便兴致冲冲地在推特上分享了这份成果：Max Tegmark介绍，这篇论文展示了如何使用测量数据集维数的冷技巧，仅从观测到的数据（而无需模型）就能自动发现守恒定律。实验结果表示，AI Poincar´e不仅自动发现了守恒量的数量，而且发现了近似守恒定律的周期性轨道、相变和分解时间表（breakdown timescale）。由于该算法不需要任何领域知识，甚至不需要导致轨迹产生的物理模型，它甚至可以用于医疗等领域的原始实验数据，而不仅仅是物理守恒定律的发现……说不定，摆脱了人类简单模型思维的AI，未来可以为三体问题带来新的insight。
自诞生以来，机器学习已经为物理学的进步作出了许多贡献，比如提高了数值模拟、实验室实验和天文观测的速度或质量。但实际上，机器学习还有一个更大的野心，就是设计出智能机器，帮助人类获得新的科学发现，比如得到物理对称性，或通过符号回归获得公式。
本着这种精神，这篇论文希望能够使用机器学习方法，从动力学系统的轨迹中自动发现守恒定律。从传统来看，物理学家是通过模型驱动的方式来得出守恒定律，例如，庞加莱（Poincar´e）通过模型驱动，证明了3D引力三体问题只有10个守恒量。与模型驱动不同的是，这篇论文旨在以数据驱动的方式发现守恒定律，在基本动力学方程解视为未知的情况下，仅使用观测到的轨迹数据作为输入。作者介绍，根据他们的了解，Y.ichi Mototake[1]与S.J.Wetzel等人[2]分别发表于2019年与2020年的工作最接近他们的目标。但是，这两篇工作采用正交方法，分别使用自动编码器与Siamese神经网络来检测对称性，需要在杜绝完全自动化的情况下进行手工特征采集，并在相对简单的例子上进行测试。其他将守恒定律与机器学习方法联系起来的工作则主要是将物理归纳偏置（例如哈密顿算子或拉格朗日函数的存在）嵌入机器学习，而不是将机器学习应用于自动发现守恒定律。这篇工作的目标（自动发现守恒定律）也要归功于机器学习在采样流形（sampling manifold）上的最新突破，与动力学系统紧密相关，如表格1所概括：将每个状态视为相空间R^N中的一个点，所有状态在一条轨迹上的拓扑闭合形成流形M⊂R^N。每个守恒定律分别从动力学系统中消除一个自由度、从M中消除一个维度，因此守恒量的数量=N-M的维数。M的局部切线空间表示守恒定律下的所有局部位移，而垂直于切线空间的空间上是守恒量的梯度。在这篇论文的“方法”部分，作者等人介绍了他们的观点与AI Poincar´e算法。在“结果”部分，他们将AI Poincar´e应用于5个哈密顿系统，以测试该算法发现守恒量（以数字方式和符号方式）、周期轨道、相变和守恒分解时间表的能力。如图1(a)所示，AI Poincar´e由三个模块组成：1）预处理（白化和可选降维）；2）M的局部蒙特卡洛采样；以及3）使用PCA解释比率从这些样本进行线性维数估计。预白化会进行仿射变换，以使S中的点具有零均值和协方差矩阵I（单位矩阵）。如果原始协方差矩阵的任一矩阵特征值消失，那么对应的特征向量e_i则会将线性守恒量定义为：H_i(x) = e_i · x，且研究人员在算法继续之前会将这些维数删除。在这篇工作中，蒙特卡洛采样流行的模块主要受益于机器学习文献[3]中的神经经验贝叶斯技巧。如图1(b)所示，这个模块包括两个步骤。图 1：AI Poincar´e算法：(a) 总体工作流程，(b) walk-pull蒙特卡洛模块，(c) 典型的解释比率图，第2阶段揭示了守恒量。
大量实验
研究团队在5个经过充分研究的哈密尔顿系统轨迹上测试了AI Poincar´e算法：1D谐波振荡器，2D开普勒问题，双摆，2D磁镜和2D三体问题，如表格2和图2所示。在计算5个系统的轨迹时，作者使用定步长4阶龙格-库塔（Runge-Kutta）法，N阶= {10^3,10^5，10^6，10^5，2×10^5}、时间步长= {10^−2，10^−2，10^ -3，10^-3，10^-3}，并使用图2中列出的初始条件。他们还将拉格朗日函数P_θ作为前馈神经网络，前馈神经网络具有两个隐藏层，每一隐藏层分别包含256个神经元，并使用ADAM优化器对每个L进行训练，学习速率为10^-3，步长为5,000。一直重复walk pull的蒙特卡洛过程，从轨迹中d点（trajectory midpoint）跳了10^4次。表2：使用AI Feynman发现了13个守恒定律中的10个的公式图 2：用于测试AI Poincar´e算法的5个哈密顿系统：谐波振荡器，开普勒问题，双摆，磁镜和三体问题。实验所得到的解释比率（图2底部）在L = 0.1周围显示了一致的谷值，表明了守恒量的数量。如果我们简单地将守恒定律发现的标准定义为比基线（0.1 / N，图中的黑色虚线）低一个数量级的解释比率，那么AI Poincar´e发现的守恒定律数量与表2中5个系统的ground truth是一致的。在三体问题中，前四个守恒定律是线性的，因此在预处理步骤中就已经被发现。这些结果对于改变walk pull过程的起点具有鲁棒性，并且在维数估计方面优于PCA、自动编码器和分形方法。根据表2（右列）显示，AI Poincar´e不仅可以自动发现存在守恒定律，而且在许多情况下，还可以发现守恒定律的符号公式。后者是通过将AI Feynman符号回归算法应用于轨迹数据。由于一个守恒量的任意函数也都守恒，因此我们需要某种形式的“量规固定”（gauge fixing）来使符号回归问题得到适当摆正。在这里，我们仅要求两个选定轨迹上的状态具有守恒值1和2；例如，当梯度方向与拉动函数（pull function）的梯度方向匹配时，这种方法可以得到极大的改进。该研究团队现在正准备探索如何使AI Poincar´e不仅能够自动发现上述的精确守恒律，而且还能自动发现近似的守恒律，从而揭示物理学上一些有趣的相变。
在这篇论文中，Ziming Liu与Max Tegmark提出了一个叫做AI Poincar´e的机器学习算法，可以使用未知动力系统的轨迹数据来自动发现守恒量。
通过对5个哈密顿系统的测试表明，AI Poincar´e不仅自动发现了守恒量的数量，而且发现了近似守恒定律的周期性轨道、相变和分解时间表（breakdown timescale）。某种意义上，AI Poincar´e是通用的，因为它不需要任何领域知识，甚至不需要轨迹产生的物理模型。因此，作者认为，将AI Poincar´e应用于原始实验数据（例如秀丽隐杆线虫中所测得的神经元电压）可能会很有趣。作者还认为，AI Poincar´e的另一个有前景的未来应用方向是：通过将学习到的几何信息从AI Poincar´e迁移到AI Feynman，改进对已发现守恒量的符号公式的发现，例如，通过要求符号梯度方向与我们所学习的拉动函数的方向相匹配。1. Y. ichi Mototake, Interpretable conservation law estimation by deriving the symmetries of dynamics from trained deep neural networks, in Machine Learning and the Physical Sciences Workshop at the 33rd Conference on Neural Information Processing Systems (NeurIPS) (2019) arXiv:2001.00111 [physics.data-an].2. S. J. Wetzel, R. G. Melko, J. Scott, M. Panju, and V. Ganesh, Discovering symmetry invariants and conserved quantities by interpreting siamese neural networks, Phys. Rev. Research 2, 033499 (2020).3. S. Saremi and A. Hyv¨arinen, Neural empirical bayes, J. Mach. Learn. Res. 20, 181:1 (2019).
注：本文转载自公众号AI科技评论（aitechtalk）《人类绝望，机器接盘：用AI自动发现三体的守恒定律！北大校友与《生命3.0》作者共同杰作》。原文作者：陈彩娴。雷克智能经授权发布，未经许可，禁止二次转载！
