神经网络求解偏微分方程：符号计算与数值计算丨图神经网络与组合优化读书会·周三直播

  本次分享将探索图神经网络在偏微分方程求解中的应用，研读怎么样去使用先进的机器学习技术来解决传统上计算密集和复杂问题的经典研究。具体地，将从方程的符号求解、数值求解两个不同角度向大家介绍神经网络尤其是图神经网络在求解偏微分方程中起到的特殊作用。

  为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，逐步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，维持的时间预计8周。欢迎感兴趣的朋友报名参与！

  偏微分方程在数学、物理等领域有着主体地位，包括但不限于流体动力学、电磁学、量子力学等。然而，解决这些方程往往需要大量的计算资源，尤其是在高维和复杂的情况下。此外，对于一些复杂的系统，如多尺度、多物理场问题，传统的数值方法可能难以应用。

  图神经网络作为一种强大的机器学习工具，可处理复杂的结构数据，如图和网络。近年来，研究人员开始尝试将图神经网络应用于偏微分方程的求解。这一些方法不但可以利用神经网络强大的拟合能力，还可通过图神经网络的结构来模拟偏微分方程中的空间关系。

  本次分享我们将从方程的符号求解、数值求解两个不同角度向大家介绍神经网络尤其是图神经网络在求解偏微分方程中起到的特殊作用。期待通过这一个分享，能帮大家更好地理解和应用图神经网络在偏微分方程求解中的潜力和挑战，同时，也希望能激发出更多的研究和应用思路。

  刀施彦，计算数学21级博士生，研究方向是偏微分方程高精度保结构数值算法，对提高算法效率与置信度感兴趣。

  在数学中，偏微分方程函数是包含未知多元函数及其偏导数的微分方程。偏微分方程用于描述涉及多元函数的问题，能够最终靠人为求解，也能够最终靠建立计算机模型来求解。常微分方程是偏微分方程（ODEs）一种特殊情况，它处理的是一元函数及其导数。

  物理启发的神经网络是一种深度学习模型，它在训练过程中同时考虑了数据驱动的学习和物理定律的约束，即使在数据稀疏的情况下，神经网络也能得到较好的结果。在流体动力学、电磁学、量子力学等领域具有广泛应用，为解决复杂的科学和工程问题提供了一种新的工具。

  伽辽金方法是由俄罗斯数学家鲍里斯·格里戈里耶维奇·伽辽金发明的一种数值分析方法。应用这种办法能够将求解微分方程问题简化成为线性方程组的求解问题。而一个高维的线性方程组又能够最终靠线性代数方法简化，进而达到求解微分方程的目的。

  符号计算是一种基于数学符号的计算方式，通过对数学表达式和符号做相关操作和推理，实现对数学问题的求解和分析。在科学研究中，符号计算能够适用于推导数学模型、求解方程、证明定理等，为科学家提供了强大的工具和方法。

  图神经网络是一种基于图结构的深度学习模型，用于处理图数据的建模和分析。它通过节点和边的表示学习，实现了对图中节点和边的特征提取和信息传递，以此来实现对图数据的分类、预测和生成等任务。

  图神经网络课程推荐：内容涉及网络嵌入、图卷积、图注意力网络、变分自编码器、网络补全和图生成等相关联的内容，能够让大家对图神经网络技术有一个全局的认知

  人工神经网络是一种模拟人脑神经元连接方式的计算模型，用于建立、模拟和简化真实的神经网络，能够适用于解决很多问题，包括但不限于分类、回归、聚类和特征提取等。

  残差神经网络是一种特殊的神经网络结构，引入了“残差连接”（residual connection）或者称为“跳跃连接”（skip connection），这种连接可以使得输入信号跳过一层或者多层后再与后面层的输出相加。能解决深度神经网络训练中的梯度消失和梯度爆炸问题，使得神经网络可以安全地变得更深。

  这篇文章是使用图神经网络从稀疏数据中学习连续时间偏微分方程，发表在ICLR，ICLR是深度学习的顶级会议。

  这篇文章名字是基于物理信息的图神经网络，并参考了传统有限元，给出解PDE控制的正逆问题的统一框架。主要的工作是提出了一种基于图卷积神经网络(GCN)和偏微分方程变分结构的框架，选择的图结构是Chebyshev谱图卷积算子，损失函数是Galerkin变分公式，加上一些稀疏的观测数据，这样子就能够同时解决正问题和逆问题，这样的解决方法可以处理非结构化网格的不规则区域。

  近年来AI for Science越来越被人们所关注，其中嵌入物理信息的神经网络方法(PINNs)备受关注，他的优势之一是可以用少量的数据来求解PDEs，但是其精确程度通常不尽如人意。基于神经网络的符号计算技术, 例如双线性神经网络方法和双线性残差网络办法能够得到100%精确度的解析解，在精确程度上远超PINNs。除此之外，在可积系统领域，该方法统一了大量经典的试探函数法，并且在更高的维度上推广了试探函数法。为可积系统中万能通用的PDE符号计算求解方法奠定了基础，提供了路径。

  扫码参与图神经网络与组合优化读书会，加入群聊，获取系列读书会回看权限，成为图神经网络社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，一同推动图神经网络社区的发展。

  自1956年“人工智能”诞生于达特茅斯会议以来，已经经历了从早期的以符号推理为主体的第一代人工智能，和以深度神经网络、机器学习为主体的第二代人工智能。ChatGPT的横空出世、生成式AI的普及、AI for Science等新领域的突破，标志着第三代人工智能的呼之欲出。可微分编程、神经微分方程、自监督学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断，基于世界模型的强化学习……，所有这些脱胎于前两代人工智能的技术要素有很大的可能性将构成第三代人工智能的理论与技术的基础。

  本课程试图系统梳理从机器学习到大语言模型，从图神经网络到因果推理等一系列有几率会成为第三代人工智能基础的技术要素，为研究者或学生在生成式AI、大模型、AI for Science等相关领域的学习和研究工作奠定基础。

  AI+Science 是近年兴起的将AI和科学相结合的一种趋势。一种原因是 AI for Science，机器学习和其他 AI 技术能用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为AI的发展提供全新的视角和方法。

  集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会从2023年3月26日开始，每周日早上 9:00-11:00 线周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。

  现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术持续不断的发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的AI算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分的利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

  为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，逐步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，维持的时间预计8周。欢迎感兴趣的朋友报名参与！