大模型在金融医疗、生命系统和物理仿真领域的创新应用探索

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

在当今迅速发展的科技领域，大模型技术正日益成为金融医疗、生命系统和物理仿真等领域中的重要工具。2023年6月16日，AI TIME举办的青年科学家大模型专场活动邀请了国防科技大学理学院数学系统计与运筹学讲师王琦、西湖大学工学院人工智能方向助理教授吴泰霖、浙江大学国际联合学院助理教授孟祥明、中佛罗里达大学计算机系助理教授及计算安全与隐私中心成员娄钱，四位嘉宾深入探讨了大模型技术在金融医疗、生命系统和物理仿真等领域中的应用案例、技术挑战和未来发展趋势，展示了这一革命性技术对各领域带来的深刻影响。

王琦：AIGC技术的发展溯源与前景展望

近些年，人工智能生成内容(AIGC)技术受到了学术界和工业界的广泛重视，此类生成式AI技术的涌现提升了社会生产效率，为通用人工智能(Artificial General Intelligence)技术开发的难题提供了新的解决思路。王琦老师在报告中首先溯源AIGC技术的发展，随着Diffusion Model、Transformer等生成式系列结构，生成式AI模型的结构趋向深度化和层次化，效果越来越好。王老师在报告的第二部分探讨了生成式AI理论研究的相关问题，并对深度生成模型的结构设计、优化策略、效果评估及应用部署进行展望。他将生成式AI存在研究热点概括为深度生成模型的可解释性，生成数据的多样性与真实性，结构化数据的不变性与等变性，大规模优化的计算复杂性与深度生成模型的跨任务智能决策，而解决这些科学问题涉及的理论工具包括统计学、代数学、决策论、信息论与优化理论等，未来利用这些理论有可能推动AIGC的研究发展。

吴泰霖：AI用于多分辨率科学仿真和设计

系统的多分辨率是科学仿真的研究中存在的一个重要挑战。在物理、流体、天气、材料、核聚变等很多领域，系统的一小部分变化非常剧烈，需要非常精细的分辨率，而大部分则变化缓慢。为解决上述问题，吴泰霖老师在报告中介绍了一种LAMP架构并通过实验数据分析其良好的性能。LAMP通过两个图神经网络进行特征的学习，其中一个图神经网络学习系统随时间的演化，另一个则通过强化学习优化系统内各个部分的空间分辨率从而判断误差和成本是否在可控范围内。此外，吴老师还提出了AI用于科学仿真存在的问题，包括如何更好地解决多尺度问题以及提高其可信度等。基于科学仿真，我们可以进行系统的反向设计，从而优化给定的目标，吴老师在报告的第二部分还详细阐述了AI用于反向设计在各科学、工程关键领域的重要应用、开放问题和可能方向，并欢迎大家一起进行深入探索。

孟祥明：基于扩散模型的量化压缩感知

我们目前正处于大数据时代，很多问题会涉及信号的获取，但是大规模数据的获取会非常消耗资源，那么如何使用少量的观测来获取信号和数据是研究的一大难题。孟祥明老师在报告中首先简明地阐述了压缩感知的主要思想，在信号传输和存储之前先对其进行压缩，在接收端收到数据后进行解压缩，简单讲就是在信号采样的过程中进行压缩。孟老师介绍了一种名为QCS-SGM的高效算法，该算法利用基于分数的生成模型（SGM）作为隐式先验，但该算法受限于行正交传感矩阵，会使得似然得分的计算变得很困难。为了突破此限制，孟老师在报告中又介绍了QCS-SGM的高级变体——QCS-SGM 。它能够有效地处理一般矩阵，从贝叶斯推理角度计算似然得分，而广泛的实验也证明了QCS-SGM 在一般传感矩阵方面比QCS-SGM具有显著的优越性。

娄钱：探讨人工智能的安全与隐私问题

人工智能模型，尤其是深度学习模型，已经在广泛的领域得到了应用，但其隐私和安全问题仍然存在许多待解决的挑战。娄钱老师在报告中首先指出构建一个可靠的深度学习系统需要解决高效性、数据隐私和安全的问题，然后介绍了利用加密的方式对数据和模型隐私进行保护的方案。他列举了现实生活中数据隐私的实例如医疗数据、金融数据等，这些数据中往往会包含个人隐私信息，目前已有的研究中会利用全同态加密（FHE）、多方计算、差分隐私等多种隐私计算技术进行数据隐私的保护。人工智能模型在训练和推理过程中也有可能泄露训练数据的敏感信息，因此模型的安全性尤为重要。娄老师在报告中分别介绍了针对文本和视觉的后门攻击方法，他也表示我们需要探索更多的后门攻击方法，并提出相应的检测和去除策略，才能保护模型的安全性。

智能决策大模型在生命系统/机器人系统中部署的机遇与挑战

王琦：大模型目前已经可以很好地解决视觉包括自然语言方面的基础性问题。在生命系统方面，大模型可以针对不同情景下体质不同的人学习特征，从而制定个性化的治疗方案。大模型部署在生命系统或机器人系统中面临机遇的同时也面临着一些挑战。比如，真实数据的缺失以及数据的表征格式，其次是因果溯源的问题，第三是让机器人系统具备感知能力与推理能力。

孟祥明：大模型应用在医疗系统或是机器人系统中是面临诸多挑战的，首先需要巨大的计算机资源进行支撑；其次用于大模型训练的数据在收集过程中本身是存在偏见和不平衡的，这会影响最终的决策结果，因此如何保证大模型的公正性和可信度是一个较大的挑战；第三，在生命系统中采用安全的措施对于敏感信息的隐私保护也是一个难题；第四，利用大模型辅助决策会面临因果推理的难题，因而解决大模型的可解释性和可理解性也是一个较大的挑战。

娄钱：我比较关注的是大模型或是生成模型的安全隐私问题，未来如果能够对大模型的输入进行一些过滤或者提高大模型本身的推理能力和可解释性，将会是一个很大的进展。

大模型的安全隐患以及解决方案

特别是在医疗金融等高风险领域

娄钱：大模型现在有一些提示词的工程，那么设置好的提示词工程让训练的数据变得更少是现有的机遇。但同时也存在着一些问题，当出于保护隐私的动机去对提示词进行加密，能否保证性能的稳定性是一个挑战。我们可以通过差分隐私利用本地学习或联邦学习的方式去生成垂直领域的个性化提示词，从而防止隐私泄露。

孟祥明：大模型在医疗、金融等高风险领域的应用，除了面对技术问题，还有法律法规的制定，如何管理数据的应用及其产生的伦理，相关的政府、企业都应该形成一个相应的规范。

吴泰霖：大模型可以作为一种基础服务提供给各个机构，由研发机构训练好的基础模型作为初始状态，再分发给不同的公司进行不同类型数据的训练，这样数据就能保存在各个公司中，保证了数据的安全性。

王琦：大模型在训练完投入使用的过程中，数据是呈现一种增量态势的，所以它具备终身学习的特性。大模型会随着数据的更新而更新，这就涉及数据的偏差。倘若有不法机构试图从产生垃圾数据的角度攻击大模型，如何让大模型从数据的角度出发，保证数据公平从而实现安全性也是一个有趣的研究方向。

大模型在物理仿真中的机遇和挑战

吴泰霖：关于大模型是否应该应用于物理仿真，如果它能够用于不同形式不同情景下，只需更改基于学习的表示，减少训练时间，这是将其应用于物理仿真的优势。倘若将其应用于物理仿真的数据量远远超过大模型本身的数据量，这就是不值得的。大模型的训练需要很多数据，而物理仿真中数据很丰富，将这两者结合起来一起训练就是一个机遇。大模型在物理仿真中的挑战主要有两个：设计一个通用的表示使得其对不同的情形都能够适用、对于不同的物理情形能否使用同一个模型来模拟。

王琦：关于挑战，在做推理的时候如何从高维观测信号中推断真实的物理状态是一个比较困难的问题，因为在物理系统中机器人的各种状态信息都是需要通过传感器进行收集的。此外，对于大规模仿真的评估标准也是一大难题，在大规模仿真预算的情况下，仿真需要服务于智能决策，此时对仿真系统的实时性就提出了很高的要求。

孟祥明：物理仿真字面意义上即仿真现实的世界，我们希望它能够精确地重现现实世界的现象或者规律，那么大模型如何保证仿真的精度和稳定性是一大挑战。

娄钱：训练一个大模型的必要条件是数据、计算平台、训练算法，物理仿真的数据表达性更好，更接近现实。在计算方面，由于数据量是巨大的，而GPU又是有限的，所以设计高效训练的算法来缓解产能的限制是有必要的。

AI或者大模型还需要理论吗？

孟祥明：这个回答是肯定的。我们目前需要思考的是机器学习理论方面的研究方式是否存在一些问题或者研究范式。由于机器学习理论界的知识对AI或大模型的发展影响并不是那么大，所以会对理论产生质疑的声音。我认为理论的研究需要改变传统，随着大模型理论研究的深入，传统的理论无法达到精确分析刻画网络结构的效果，需要改变研究范式，用复杂的系统理论解释有限的现象。

娄钱：我个人是从工程角度做AI的相关研究，大部分人做理论研究的流程是先观察问题，再提出算法，而新算法的提出一般是先基于直觉，然后再验证算法的有效性，这也是我目前比较推崇的一种做研究的方式。

王琦：大模型的涌现能力是让人惊艳的它遍历了与人类复杂语言系统中的各种组合技巧，从这种角度看，生成式模型或者AI本质上是在做一种概率建模。除此之外，高效推断、高效采样、随机问题的优化、可解释性也是未来大模型研究中值得探讨的理论问题。

吴泰霖：大模型一定还需要理论。从Science for AI的角度来看，不同的学科都会有不同的方式和概念能够从基础理论的形式上，有可能对大模型进行更好的理解。

整理：陈研

审核：王琦、吴泰霖、孟祥明、娄钱

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1100多位海内外讲者，举办了逾550场活动，超600万人次观看。

我知道你

在看

哦

~

点击 阅读原文 观看回放！