十种基本机器学习方法

今天，小编将在这篇文章中为大家带来机器学习算法的有关报道，通过阅读这篇文章，大家可以对机器学习算法具备清晰的认识，主要内容如下。

1、主成分分析(PCA)/SVD

PCA 是一种无监督方法，用于了解由向量组成的数据集的全局属性。此处分析数据点的协方差矩阵，以了解哪些维度(大多数)/数据点(有时)更重要(即它们之间的方差较高，但与其他维度的协方差较低)。考虑矩阵的顶级 PC 的一种方法是考虑具有最高特征值的特征向量。SVD 本质上也是一种计算有序分量的方法，但不需要获取点的协方差矩阵即可获得它。

主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。

2、最小二乘法和多项式拟合

大学时学习的数值分析，曾经将直线和曲线拟合到点来得到方程。可以使用它们来拟合机器学习中低维度的小型数据集的曲线。(对于大数据或具有多个维度的数据集，可能最终会严重过度拟合，所以不必担心)。OLS具有封闭式解决方案，因此无需使用复杂的优化技术。

3、K表示聚类

他是无监督聚类算法。给定一组向量形式的数据点，我们可以根据它们之间的距离来形成点簇。这是一种期望最大化算法，它迭代地移动聚类中心，然后将点与每个聚类中心结合在一起。算法采用的输入是要生成的簇的数量以及它将尝试收敛簇的迭代次数。

一种动态聚类方法。在原始图像集合(N个图像)中随机选择k个原始图像作为k个类，逐个分析剩余图像，计算该图像与k个类之间的距离，将该图像归入与之最邻近的类，重新计算该类的类平均图，依次类推直至分析完剩余N-k个图像;之后，再逐个对集合中的N个图像依次重复上面的计算和归类，不断重复此步骤，直到k个类平均图收敛，由此得到对原始图像集合的k个分类。其中的参数k如果选择不合适就会影响分析效果，因此在改进的快速聚类法中，通过引入最小距离c和最大距离R可以动态修正参数k，对距离小于c的两个类进行归并，将与所有类的距离都大于R的图像作为一个新类。

4、逻辑回归

Logistic回归是在应用权重后应用非线性(主要使用sigmoid函数，也可以使用tanh)的约束线性回归，因此将输出限制为接近+/-类(在sigmoid情况下为1和0)。交叉熵损失函数使用梯度下降进行优化。初学者注意：逻辑回归用于分类，而不是回归。还可以将逻辑回归视为单层神经网络。逻辑回归使用梯度下降或L-BFGS等优化方法进行训练。NLP人们经常将其与最大熵分类器的名称一起使用。

Logistic回归实质：发生概率除以没有发生概率再取对数。就是这个不太繁琐的变换改变了取值区间的矛盾和因变量自变量间的曲线关系。究其原因，是发生和未发生的概率成为了比值 ，这个比值就是一个缓冲，将取值范围扩大，再进行对数变换，整个因变量改变。不仅如此，这种变换往往使得因变量和自变量之间呈线性关系，这是根据大量实践而总结。所以，Logistic回归从根本上解决因变量要不是连续变量怎么办的问题。还有，Logistic应用广泛的原因是许多现实问题跟它的模型吻合。例如一件事情是否发生跟其他数值型自变量的关系。

5、SVM(支持向量机)

SVM是一种常用的监督学习算法，是像线性/逻辑回归一样的线性模型，不同之处在于它的核心思想是将数据映射到高维特征空间，并在该空间中寻找一个最优的超平面来进行分类。超平面是一个 n-1 维的线性子空间，其中 n 是特征的维数。SVM 在特征空间中选择具有最大间隔(Margin)的超平面作为最优分类边界，以提高分类的鲁棒性。

SVM使用铰链损失函数(hinge loss)计算经验风险(empirical risk)并在求解系统中加入了正则化项以优化结构风险(structural risk)，是一个具有稀疏性和稳健性的分类器。SVM可以通过核方法(kernel method)进行非线性分类，是常见的核学习(kernel learning)方法之一。

6、前馈神经网络

前馈神经网络(feedforward neural network，FNN)，简称前馈网络，是人工神经网络的一种。前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层(或隐藏层、隐层)。隐层可以是一层。也可以是多层。

这些基本上是多层逻辑回归分类器。由非线性(sigmoid、tanh、relu + softmax 和很酷的新 selu)分隔的许多权重层。它们的另一个流行名称是多层感知器。FFNN 可作为自动编码器用于分类和无监督特征学习。

7、卷积神经网络(Convnets)

卷积神经网络仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。

当今世界上几乎所有最先进的基于视觉的机器学习结果都是使用卷积神经网络实现的。它们可用于图像分类、对象检测甚至图像分割。卷积网络由 Yann Lecun 在 80 年代末至 90 年代初发明，其特征是卷积层充当分层特征提取器。也可以在文本(甚至图表)中使用它们。

8、循环神经网络(RNN)：

RNN通过在时间t的聚合器状态和时间t的输入上递归应用同一组权重来对序列进行建模(假设序列在时间0..t..T具有输入，并且在每个时间t有一个隐藏状态)这是RNNt-1步骤的输出)。纯RNN现在很少使用，但其对应的LSTM和GRU在大多数序列建模任务中都是最先进的。

9、条件随机场(CRF)

CRF 可能是概率图模型 (PGM) 系列中最常用的模型。它们用于像 RNN 一样的序列建模，也可以与 RNN 结合使用。在神经机器翻译系统出现之前，条件随机场是最先进的，在许多小数据集的序列标记任务中，它们仍然比需要大量数据才能泛化的 RNN 学得更好。它们还可以用于其他结构化预测任务，例如图像分割等。CRF 对序列的每个元素(例如句子)进行建模，以便邻居影响序列中组件的标签，而不是所有标签彼此独立。

10、决策树

它是一种基于树结构的分类和回归算法。它通过对特征进行分割来构建一个树形模型，每个内部节点表示一个特征，每个叶节点表示一个类别或一个数值。决策树通过对特征进行逐层的判断和分割，以最终得到一个预测结果。

最后，小编诚心感谢大家的阅读。你们的每一次阅读，对小编来说都是莫大的鼓励和鼓舞。希望大家对机器学习算法已经具备了初步的认识，最后的最后，祝大家有个精彩的一天。