每日一课 | 智慧灯杆人工智能之实践方法二：机器学习

3．机器学习

谷歌CEO桑达尔·皮查伊在一封致股东信中，把机器学习誉为人工智能和计算的真正未来，可想而知机器学习在人工智能研究领域的重要地位。机器学习的方式包括有监督学习、无监督学习、半监督学习和强化学习。其中的算法有回归算法（最小二惩罚、LR等）、基于实例的算法（KNN、LVQ等）、正则化方法（LASSO等）、决策树算法（CART、C4.5、RF等）、贝叶斯方法（朴素贝叶斯、BBN等）、基于核的算法（SVM、LDA等）、聚类算法（K-Means、DBSCAN、EM等）、关联规则（Apriori、FP-Growth）、遗传算法、人工神经网络（PNN、BP等）、深度学习（RBN、DBN、CNN、

DNN、LSTM、GAN等）、降维方法（PCA、PLS等）、集成方法（Boosting、Bagging、AdaBoost、RF、GBDT等）。

深度学习是机器学习中人工神经网络算法的延伸和发展，近期深度学习的研究非常火热，下面介绍一下神经网络和深度学习。先说两层网络，如图3-20所示，其中，a是“单元”的值；w表示“连线”权重；g是激活函数，一般为方便求导，采用Sigmoid函数。采用矩阵运算来简化图中公式：a(2)=g(a(1)×w(1))，z=g(a(2) ×w(2))。设训练样本的真实值为y，预测值为z，定义损失函数loss＝（z-y）²，所有参数w优化的目标就是使对所有训练数据的损失和尽可能小，此时这个问题就转化为一个优化问题，常用梯度下降算法求解。一般使用反向传播算法，从后往前逐层计算梯度，最终求解各参数矩阵。

图3-20 深度学习两层神经网络算法