机器学习的特征工程是什么?3个机器学习监督学习方法介绍!

以下内容中，小编将对机器学习的相关内容进行着重介绍和阐述，希望本文能帮您增进对机器学习的了解，和小编一起来看看吧。

一、机器学习特征工程

(一)特征工程是什么

当你想要你的预测模型性能达到最佳时，你要做的不仅是要选取最好的算法，还要尽可能的从原始数据中获取更多的信息。那么问题来了，你应该如何为你的预测模型得到更好的数据呢?这就是特征工程要做的事，它的目的就是获取更好的训练数据。

维基百科中给特征工程做出了简单定义：特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。简而言之，特征工程就是一个把原始数据转变成特征的过程，这些特征可以很好的描述这些数据，并且利用它们建立的模型在未知数据上的表现性能可以达到最优(或者接近最佳性能)。从数学的角度来看，特征工程就是人工地去设计输入变量X。

(二)特征工程的重要性

关于特征工程(Feature Engineering)，已经是很古老很常见的话题了，坊间常说：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。由此可见，特征工程在机器学习中占有相当重要的地位。

1、特征越好，灵活性越强

只要特征选得好，即使是一般的模型(或算法)也能获得很好的性能，因为大多数模型(或算法)在好的数据特征下表现的性能都还不错。好特征的灵活性在于它允许你选择不复杂的模型，同时运行速度也更快，也更容易理解和维护。

2、特征越好，构建的模型越简单

有了好的特征，即便你的参数不是最优的，你的模型性能也能仍然会表现的很nice，所以你就不需要花太多的时间去寻找最有参数，这大大的降低了模型的复杂度，使模型趋于简单。

3、特征越好，模型的性能越出色

显然，这一点是毫无争议的，我们进行特征工程的最终目的就是提升模型的性能。

二、机器学习3大监督学习方法

监督学习要处理的是有标签的数据，即业务场景里有绝对的黑白，明确的好坏，比如在信贷风控的场景下，逾期了就是逾期了，在金融市场的场景下，涨跌也都是界限分明的。通过对历史数据的学习，从而给当前的数据一个离散的标签，或者连续的数值结果。

1.线性模型

线性模型的出发点很简单，就是考虑一个事情成立的多个因素，比如ABCDE五个因素，每个因素又有各自的权重，权衡过各个因素后，才做出最后的决策。将这个想法转化为数学的表达，也就有了因变量，自变量，系数，偏置这些概念，从而组成了线性模型。

线性模型也可以很复杂，有很长的历史，很多的变体。其中最经典的形式，是在线性基础上添加一个Sigmoid函数，从而将线性输出转化为概率，并进一步转化为黑白标签，也就是逻辑回归。在传统金融场景的评分卡领域里，逻辑回归的应用是非常广泛和深入的。

2.决策树

决策树的思想可以用四个字来概括，即分而治之。线性模型的因素考虑，是相互并列的，权重各异的，但决策树里不是如此。决策树里的因素是串行的，即先考虑A因素，随后针对A因素中的各种情况，继续考虑新的因素，循环往复，形成了一组决策链路，即决策树。

所以决策树里面最重要的问题，便是在当前这个节点，我应该考虑何种因素，去继续推进这个决策的制定。为了解决这个问题，决策树引入了计算机领域里信息熵的概念，经过推演，有了最大增益和增益率这些指标，对应了ID3和C4.5这两种经典的决策树范式。后来又通过引入基尼系数，作为因素选择的判断条件，从而生成了CART决策树。

3.贝叶斯

贝叶斯学派和频率学派之间的争辩，很像是物理学里波粒之争，数学家们争执于参数到底存不存在，物理学家们则争执于光到底是波还是粒子。波粒之争最终通过波粒二象性的理论而宣告结局，但贝叶斯和频率学派的争执并没有结束，继续在不同的时代里各领风骚。

频率学派相信存在着一个客观实体(参数)，所以要做的就是尽可能地去拟合和逼近这个参数，比如最大似然估计。贝叶斯学派则拒绝相信这一套，他们坚持我看见(先验概率)，我思考(后验概率)，我决策(贝叶斯模型)。贝叶斯理论广泛应用于文本处理的领域，生成了诸多经典模型，根据因素之间的独立性差异，产生了朴素贝叶斯及其它多种贝叶斯算法。

上述所有信息便是小编这次为大家推荐的有关机器学习的内容，希望大家能够喜欢，想了解更多有关它的信息或者其它内容，请关注我们网站哦。