基於约束优化的算法:通用软件的益处

在全球智能化商业峰会」上，斯坦福大学荣誉教授、新西兰皇家学会荣誉成员、世界级算法专家 Michael Saunders 进行了以「基於约束优化的算法：通用软件的益处」为主题的演讲。

Michael Saunders 曾任斯坦福大学管理科学与工程系教授。目前，他是斯坦福大学荣誉教授、数学家、世界级算法专家，工业与应用数学学会会士，新西兰皇家学会荣誉成员，斯坦福大学发明名人堂成员。

Michael Saunders 教授师从科学计算之父 Gene Golub，于 1972 年获得了斯坦福大学计算机科学博士学位，作为计算机领域的「大咖」，他曾获数学程式设计学会「William Orchard-Hays 奖」及工业与应用数学学会「暹罗线性代数奖」。据了解，目前其用于矩阵方程式和优化问题的数学算法在全球被广泛使用。Michael Saunders 教授曾为通用电气、波音公司等提供咨询服务。

Michael Saunders 教授的研究领域包括人工智能、大规模科学计算、大数据分析、系统优化、稀疏矩阵解法、软件工程、AIoT 等。

在他看来，互联互通一直都是 AIoT 产业的优化难题，例如此次会议的主办方涂鸦智能也推出了类似技术希望解决信息孤岛的问题，Saunders 教授在此领域贡献突出。

以下是此次 Michael Saunders 教授的演讲和专访纪要

大家好！谢谢今天来现场的各位嘉宾，我很高兴来到中国。不好意思，我是新西兰人，我会说一点法语，一点西班牙语和一点英语，但是中文要难得多。

今天我想要和大家讲的是「约束优化」，在这之前，我想先谈一下为什么我会去斯坦福大学并参与计算机相关的科研，并谈谈关于约束优化的历史。

从新西兰到斯坦福，专注于「约束优化」

1972 年，我取得了在斯坦福大学的博士学位，我返回新西兰并以为我会就此永远待在新西兰，但斯坦福大学教授 George Dantzig，线性代数之父，他开始了系统优化实验室（SOL）计划，并且邀请我回到斯坦福。

在我参与系统优化实验室之时，Dantzig 教授负责建立经济和能量模型，而我则专注于非线性目标函数，并且研发 MINOS 优化软件的初始版本，以解决这些模型的问题。

当时，斯坦福大学教授 George Dantzig 提出了一种新的算法优化——即「约束优化」。这是一个很难的研究课题，它是在一系列约束条件下，寻找一组参数值，使某个或某一组函数的目标值达到最优。「约束优化」本质上是一个线性代数问题，通过软件来实现优化分析。

到了 1980 年代，我又延伸了 MINOS 用以处理一些非线性约束条件，并且我们开发了其他的约束优化软件用于通用电气和 NASA。

在 1990 年，我们的软件被用于温室效应模型，以及航太的优化问题，例如飞机和太空船的轨道优化。

我有一个做航空器的双胞胎兄弟大卫，他从 1975 年起，就在 NASA 的艾姆斯研究中心（Ames

Research Center）工作，他利用了我们的优化软件设计超音速飞机、新型的太空梭和太空舱，虽然当中有些项目后来被取消了。

当然，我们的算法优化也用在了其它很多领域。比如，控制机器人的运行轨迹；还有医疗领域，我们可以瞄准 X 光光束，帮助医生进行放射治疗。

优化对航空应用至关重要

我们的软件被用于很多 NASA 很多航空项目，比如：

·航空器的外观要如何设计才能减少阻力。

·如果有一台拦截机要从海平面一直爬升到两万米的高空，我们会尽我们所能地减少其爬升的所需时间，这就是所谓的轨道优化。

·单级入轨火箭（single-stage-to-orbit，或简写为 SSTO）麦克唐纳-道格拉斯 DC-Y，当它进入轨道上时，它以类似于太空梭俯冲的姿势重新进入大气层，但在短短几秒钟之内，它又需要旋转并且以其尾部着地降落。我们优化了旋转落地的部分，让其用最少的燃料落地，这也是轨道优化的一种。

·为了宇航员的生命健康，他们在飞机上最好不要受到超过 3G 的重力加速度，那么应该从距离地面多少距离开始旋转？

以上问题都离不开优化。

在 2010 年，我参与设计了有阿波罗 2.0 之称的宇宙飞船猎户座（Orion），猎户座和阿波罗的外形相似，但体型大得多。大卫优化了猎户座的防热罩的曲度，他发现 50 年前，阿波罗的设计师选择的外形就是一个最优化的形状。

最近，我们的优化还被用于世界上最大的飞机」Stratolaunch」, 它于 2019 年 4 月 13 日在加利福尼亚州完成首飞。Stratolanuch 配备有两个机身，和六个波音 747 引擎，它的机翼展开比一个足球场的长度还长，它可以载着一个火箭或者是小型的太空船到 11000 米的高空，并且将其发射到轨道上。大卫改善过后的优化结果显示，Stratolaunch 如果在 2500 公里的距离就开始降落程序，那会有点过早。

优化软件和应用相辅相成

算法优化帮助我们做了很多解决方案。

在 20 年前，我们使用 PDCO 软件来做信号分析（基追踪降噪，BPDN），我们现在使用同样的软件做不同的应用：分析低频核磁共振信号，用以分析某些东西的组成，例如橄榄油或者是生物柴油，我们既有的软件找到了新的应用方式。

有时，新的应用会引领我们创造新的算法。例如系统生物学里头的多维度模型问题没办法以现有的软件解决，我们就使用了双精度型和三重精度型版本的优化 MINOS 软件，开发了 DQQ 程序。

我们还开发了 NCL 算法来解决税法模型，此前，这是无法通过既有的软件去解决的。NCL 解决了一系列很大但容易解决的优化问题。令人意外地，我们发现如何通过内部方法促进优化，来」热启动」(warm start）每一个大难题。热启动通常是无法通过内部方法实现的。因此，全新的高难度应用促使我们催生了新的通用软件，这是个非常有趣的过程。

总结一下我的演讲主题，当我们设计一个优化软件时，我们总是希望打造一个「万用型」的软件，让其能够物尽其用。但老实说，我们永远不知道，是什么样的人在使用我们的软件，有时候，软件会帮助科学家发现针对新兴应用的优化解决方案，这带给我们立即的成就感。但有时候则正好相反，是新兴的应用迫使我们用新的方式结合既有的软件去设计新的算法。

在未来，我们会看到很多像自动驾驶车这样的应用，而自动驾驶安全的重要性和太空船的发射及降落不相上下。优化系统在未来的医疗领域也将大放异彩，它可以使精准医疗成真，它已经让放射疗法变得更精准快速了。

在演讲之后，雷锋网 AI 科技评论对 Michael Saunders 教授做了一次专访。

雷锋网：今天很高兴有这个机会来采访您！第一个问题，您能不能谈一谈您自己是如何结合研究与业界的应用，您参与过哪些具体的案例？

Michael Saunders：我的应用案例在我的演讲中提了很多，其中有一些很重要的案例，比如在药物治疗、制造、航空航天、系统生物学和核磁共振等方面。就像我之前说的，我们不知道有谁会用我们的软件，但通用型的软件本来就会鼓励更多的新兴应用诞生。我最喜欢的事情就是别人敲我的门说，「教授，我有个优化问题，请问你可以帮忙吗？。」我希望大家敲我的门。

雷锋网：您是如何看待人工智能、IoT 与系统优化之间的关系？

Michael Saunders：人工智能涵盖了许多层面，包括数学和计算机科学，求解具有大规模变量方程的极小值问题通常是优化领域的代表性案例。

经典的 SVM 方法解决的是更为复杂的问题，我们已经证明了我们的 PDCO 解决方案是一个比现有的方法更能规模化应用的解方。

物联网包括了感测器，我们用优化方法研究了无线感测器网络（Wireless Sensor Network），用以侦测感测器在哪里。每个感测器都能自主侦测它和其他临近感测器的距离，举例来说，我们可以从一个直升机上面把感测器丢入森林中，让其自动感测是否有森林大火发生，其中只有寥寥数个感测器需要知道具体位置。

雷锋网：千百个 Sensor 之间的互联是吗？

Michael Saunders：我的 PhD 学生 Holly Jin，在她的博士论文中，她可以精准地定位数千个感测器，这对于大型的森林来说很重要。同样地，如果消防员或矿工佩戴感测器在身上，同样的优化方法也可以用于森林大火或倒塌的矿坑中搜索他们的位置。

雷锋网：现在人工智能技术在中国特别火热，作为这方面的专家，您觉得人工智能技术未来突破点在哪里，这一技术的走向如何？

Michael Saunders：这是一个很好的问题，人工智能技术已经发展很久了，1967 年，当我还在斯坦福大学念 PhD 的时候，人工智能就已经是一个计算机科学的研究主题了，如果 AI 是泡沫的话，泡沫早就破掉了。

自动驾驶车对于未来的人工智能研究领域来说，是一个很大的挑战，特斯拉创始人马斯克期待特斯拉自动车在今年底就可以自己在路上跑，并且车子还可以在行程之余去接送其他乘客为车主赚钱。我们不清楚这个愿景是否能实现，特斯拉声称他们有一个芯片的运算速度是其他芯片的二十一倍，这是一个很了不起的进展，这让我们离未来的 AI 又更近了一步。

雷锋网：主要是芯片优化？

Michael Saunders：刚才我们问题就是说，未来的 AI 应用方向，一个是自动驾驶，这是一个非常大的方向，会彻底改变我们的生活方式。我看好自动驾驶的未来。

观众提问：现在机器学习有两种方式，一个是监督式的，一个是非监督式的，您认为哪一种比较有发展潜力？

Michael Saunders：机器学习的方式有三种：监督学习，非监督学习和强化学习。我认为监督式学习和非监督式学习都是很重要的，研究者们永远都在试着改善它们所使用的方法，我认为在未来，这两种形态的学习方式都会持续进化。