LQR算法是最优控制中经典的算法，而且LQR是一个应用较多的控制算法，所以在这里我以最优控制为起点介绍LQR控制算法。

注意LQR控制算法的基础是你要有现代控制理论的基础，需要知道状态空间（State Space）。

1 最优控制问题实例分析

考虑一列火车 W，其质量为 m，沿着水平轨道运动，不考虑空气的阻力和地面对火车的摩擦力，把火车看成一个沿着直线运动的质点，x(t)表示火车在t 时刻的位置，u(t)是施加在火车上的外部控制力，假设火车的初始位置和速度分别为 x(0)=x0，x' (0)=0要求选择一个合适的外部控制函数 (t)使火车在最短时间内到达并静止在坐标原点，即到达坐标原点时速度为零。

根据牛顿第二定律得火车的运动方程为

初始条件

终端条件

由于技术上的原因，外部推力不可能要多大就多大，它在数量上是有界的，即

其中，M是正常数

问题是寻找一个满足式(1.1.4)的控制函数u(t)，把W由初态(x0,0)'转移到终态(0,0)',且使J(u)这个性能指标达到最小。任何能达到上述要求的控制函数都称为最优控制。电梯的快速升降、轧钢机的快速控制和机械振动的快速消振问题都可以用上述问题阐述。

2 最优控制的数学描述

由上述四个最优控制问题的实例可以看出，最优控制理论所要解决的问题是根据被控对象的动态特性(系统数学模型)，选择一个容许的控制律，使得被控对象按预定要求运行(由初始状态运行到终端状态)，并使给定的某一性能指标达到最优值。因此，最优控制问题的数学描述应包含被控对象的数学模型、系统的边界条件(初态和终态)、衡量“控制作用”效果的性能指标和容许控制四个方面的内容。

2.1 数学模型

被控对象的数学模型，即动态系统的微分方程，它反映了动态系统在运动过程中所应遵循的物理或化学规律，其运动规律可以用状态方程来表示。

令x=(x1,…,xn)^T ∈ R^n 表示控制系统的状态变量，u=(u1,…,um)^T ∈ R^m 表示控制系统的控制变量，则控制系统的状态方程通常可用一阶微分方程组描述为

方程式(1.2.1)概括了方程式(1.1.1)、式(1.1.6)和式(1.1.12)几种情况.

当 f 不显含 t 时，称式(1.2.1)为 定常系统 (或称为时不变系统)。当f关于x和u为线性关系时，称式(1.2.1)为线性系统，这时方程可以写成

其中，A(t)为n阶方阵，B(t)为n 行 m 列矩阵。当A和B与时间t无关时，称式(1.2.2)为线性定常系统或线性自治系统。

在一些实际问题中，系统的状态变量和控制变量关于时间是离散的，这样的控制系统称为 离散控制系统 。令 x(k)=[x1(k),…,xn(k)]^T ∈ R^n 表示控制系统的状态变量，u(k)=[u1(k),…,um(k)]^T ∈ R^m 表示控制系统的控制变量，则离散控制系统的状态方程可用差分方程描述成

方程式(1.2.3)概括了方程式(1.1.15)的情况。

2.2 边界条件

动态系统的初态和终态，也就是状态方程的边界条件 。动态系统的运动归根结底是在状态空间里从一个状态转移到另一个状态，其运动随时间变化对应于状态空间的一条轨线。轨线的初始状态可以记为 x(t0)，n 为初始时间；轨线的终端状态可记为 x(s)，tf为达到终态的时间。

在最优控制问题中，当t=t0时的初态通常是已知的，即x(t0)=x，而到达终端的时间t和状态x(tn)则因问题而异。就终端时间t来说，它可以有两种情形:一种是固定的，如例1.3 中= 80 年，例 1.4 中= 3 年;另一种是变动或自由的，如例1.1 和例1.2。至于终端状态 x(tn)，情况要复杂得多，可归纳为以下三种情况:

** (1)终端状态固定**

终端状态固定指终端状态x(tno)对应于状态空间的一个固定点，即x(trsr是已知的如例1.1和例1.2中x(tf)=0，例13中x(tf)=0.5。

** (2)终端状态受约束**

终端状态受约束指终端状态 x(tf) 受到一些条件的限制 ，如用以下方程表示 x(tf)必须满足的约束条件。

** (3)终端状态自由**

终端状态自由指终端状态x(sn)不再是一个点，而是一个运动点。

对于以上情况，都可以用一个目标集 S来概括，如果终端状态固定，则目标集 S仅有一个元素；如果终端状态受某些条件的约束，则目标集 S 为状态空间的一个曲面；如果终端状态自由，即不受任何条件的约束，则目标集 S 扩展到整个状态空间。

2.3 性能指标

在状态空间中从初始状态转移到终端状态，可以通过不同的控制作用来实现，如何来衡量系统在控制作用下的好坏，需要用一个标准对它进行量化评定，这个评价的衡量尺度或标准我们称之为性能指标。

值得着重指出的是:第一，我们无法为各种各样的最优控制问题规定一个统一格式的性能指标，那种面面俱到的最优控制实际上是不存在的。第二，性能指标的内容和形式取决于最优控制问题所要解决的主要矛盾。第三，即使是同一个问题，其性能指标也可能因设计者着眼点的不同而异，如有的设计者注重缩短时间，有的设计者注重节省燃料，而有的设计者则兼顾缩短时间和节省燃料。因此，为了使性能指标规定得恰到好处，理论知识固不可少，但经验和技巧的积累尤为重要。性能指标一般用J表示，在很多技术资料中被赋予不同的名称，如性能泛函、价值函数、目标函数、效益函数等。

性能指标的数学表达主要有以下三种形式:

** （1）末值型性能指标，也称为迈耶尔(Mayer)性能指标**

例1.1火车快速到达问题中，J(u)=tf-t0，即为末值型性能指标。

** （2）积分型性能指标，还称为拉格朗日(Lagrange)性能指标**

例 1.3 基金的最优管理问题中，

即为积分型性能指标

** （3）复合型性能指标，也叫波尔扎(Bolza)性能指标**

复合型性能指标实际是末值型性能指标和积分型性能指标的组合，由式(1.2.7)可看出该指标对**控制过程的状态量 x(t)、控制量 u(t)及末端状态x(tf)**均有要求。

2.4 容许控制

对于一个实际的控制问题， 控制变量u(t)通常是某种物理量 。根据控制量的变化范围，控制问题可分为两类：一类是 控制量变化范围受限制的控制 ，如控制船舶转向的舵角、控制电机的电流都是受限制的；另一类是 控制量变化范围不受限制或实际上不受限制的控制 ，如导弹的推力控制方向角，因可作+/-360°的变化而不受限制。

对每一个控制问题来说，满足条件的控制作用u(t)的一个取值对应于m 维空间R^m中的一个点，所有满足条件的控制作用 u(t)的取值构成 m 维空间的一个集合，记为，称之为容许控制集。凡是属于容许控制集 Ω 的控制都是容许控制。在前面提到的两类控制中，前一类控制属于闭集控制，后一类控制属于开集控制。后续我们将会看到，这两类控制问题，在处理方法上有着本质的区别。最优控制一定是容许控制，即

2.5 最优控制的一般提法

设已知系统的状态方程为

初始条件和终端状态满足

控制函数为

其中，函数f是x(t)、u(t)和t的连续函数，并对x(t)和t连续可微。若存在一个在区间[t0,tf]中分段连续的控制函数u(t)能使系统状态 x(t)从初态x0转移到终态xf∈S，并使性能指标

达到极值，则称控制函数 u(t)为最优控制函数，记为u* (t)，与之对应的x(t)称为最优轨线，记为x*(t)，此时的性能指标J叫做最优性能指标。

可见，最优控制属于系统综合与设计范畴。最优控制的任务是给定一个被控系统(controlled system)或被控过程(controlled process)(包括有关的约束条件和边界条件)以及性能指标(performance index)，如何设计相应的控制系统(control system)，使得在满足约束条件和边界条件的同时，其性能指标达到极值（极大或极小）。

2.6 离散系统最优控制问题的数学描述

设已知系统的差分方程为

初始条件和终端状态满足

控制函数为

性能指标

离散系统的最优控制问题就是寻求一个容许控制 u(k)，使系统的状态 x(k)从给定的初值0转移到终态x(k) ∈S，并使性能指标J达到极值。

若上述最优控制问题有解u* (k)，则u*(k)称为最优控制函数，对应的轨x*(k)称为最优轨线，而这时的性能指标J叫做最优性能指标

3 最优控制的发展

最优控制理论是现代控制理论的一个重要组成部分,它的发展与现代控制理论的发展是分不开的。迄今为止，控制理论的发展经历了古典控制理论和现代控制理论的两个重要发展阶段，并进入了第三个阶段，即大系统理论和 智能控制理论 。

第二次世界大战以后发展起来的自动控制理论，在用来设计与分析单输入单输出的线性定常系统时是行之有效的。然而，随着生产的发展，特别是空间技术的发展，控制系统日趋复杂，其精度要求愈来愈高。于是，建立在传递函数和频率特性基础上的自动控制理论，即我们通常说的经典控制理论，就日益显示出它的局限性来。这种局限性首先表现在对于时变系统，传递函数根本无法定义；即使是线性定常系统，在多输入多输出时，其传递函数成为一个函数矩阵，以致从传递函数概念得出的工程上的结论，在这里也变得很复杂而难于应用。其次还表现在频率法本质上是一种工程方法，由 频率法所获得的校正特性只能靠简单的网络来实现，而网络参数的确定，还须经过调试过程，当系统很复杂，精度要求很高时，这种半经验的方法就不大适用了 。因此，人们又回到时间域，建立了以状态空间概念为基础的现代控制理论。

现代控制理论所能处理的问题范围很广。原则上，它可以用来处理时变系统、非线性系统、多输入多输出系统以及分布参数系统的问题。用它来处理随机系统问题和离散系统问题同样是很方便的。

早在20世纪50年代初期，就有人发表了从工程观点研究最短时间控制问题的文章，虽然最优性的证明借助于几何图形，带有启发性质，但它为现代控制理论的发展提供了第一批实际模型。随后，最优控制问题的深入研究以及空间技术的迫切需要吸引了一大批数学家的密切注意。人们通过研究发现， 从数学观点来看，最优控制问题就是求解一类带有约束条件的泛函极值问题，其本质是一个变分学问题 。然而，经典变分理论所能解决的只是其容许控制属于开集的一类最优控制问题，在工程实践中所遇到的，却大多是其容许控制属于闭集的一类最优控制问题，经典变分理论无能为力，这就需要人们去探索求解最优控制问题的新途径。

在种种新方法中,有两种方法最富成效。一种是前苏联学者庞特里亚金(L.C.Pontryagin)的“极小值原理”:另一种是美国学者贝尔曼(RE.Bellman)的“动态规划”。

受力学中哈密尔顿原理的启发，庞特里亚金等人把“极小值原理”作为一种推测首先提出来，随后不久又提供了一种严格的证明，并于1958年在爱丁堡召开的国际数学会议上首次宣读。“极小值原理”发展了经典变分原理，成为处理闭集性约束变分问题的强有力工具。

“动态规则”是贝尔曼在1953至1957年间逐步创立的，他依据最优性原理，发展了变分学中的哈密尔顿-雅可比(Hamilton-Jacobi) 理论，构成了“动态规划”，它是一种适用于计算机计算、处理问题范围更广泛的方法。在现代控制理论的形成与发展中，极小值原理、动态规划和卡尔曼的最优估计理论起了重要的推动作用。现代控制理论迅速发展的同时，数字计算机也在飞速地发展，并得到广泛地应用。数字计算机运算速度的提高、存储容量的增大、体积的缩小以及软件的广泛应用，使数字计算机不仅成为控制系统分析与设计的强有力的工具,而且逐渐成为自动控制系统的主要部件之一。计算机“在线”参与控制，使得许多既不要求把控制器归结为简单的校正网络，也不要求有封闭式解析解的复杂控制方法在实际工程应用中成为可能。因此，高速度、大容量、软硬结合计算机的问世，一方面使现代控制理论的工程实现有了可能，另一方面又反过来提出许多新的理论和问题,导致诸如最优控制的直接和间接计算的大批研究成果的出现，进一步推动了现代控制理论的发展。

近20年来，在现代控制理论和现代控制工程应用中， 吸收了现代数学的很多成果 ，又得到了很大发展，并渗透到生产、生活、国防、城市规划、智能交通、管理等许多领域.发挥了愈来愈大的作用。最优控制的发展成果主要包括分布式参数的最优控制、随机最优控制、自适应控制、大系统最优控制、微分对策等，最优控制理论形成了比较完善的理论体系，为现代控制工程做了比较充分的理论准备。特别要指出的是，随着高性能嵌入式系统的应用和发展，最优控制理论研究将是一个十分活跃的研究领域，最优控制理论在实际工程中应用将愈来愈广泛。