什么是机器学习的无监督学习?如何通过包裹法实现特征选择?

本文中，小编将对机器学习予以介绍，如果你想对它的详细情况有所认识，或者想要增进对它的了解程度，不妨请看以下内容哦。

一、机器学习之无监督学习

监督学习处理的是有标签的数据，无监督学习要处理的则是无标签的数据。正是因为没有了这个绝对的标签，所以会更侧重与数据本身的信息和结构，对于模型所得结果的合理性，也会有更丰富和更精细的评估。以下主要介绍一些不同类型的聚类算法。

1.基于原型

基于原型的聚类，强调在数据中存在着某种确定性的结构，不同类别的结构，应该是不一样的。K-means是原型聚类中的经典代表，它相信数据中存在着K个中心点，通过迭代更新这K个中心点的位置，从而将所有样本点划分进K个原型里面，直至迭代结束。

2.基于密度

基于密度的聚类，强调如果在数据中存在一个类别，那么这个类别里的样本点之间，是存在一定的紧密程度的，如果不具有的话，那就是属于其它类别。DBSCAN是这一类算法中的代表，它与K-means的不同在于，不预先假设K个中心，而是先寻找一个类别，获取这个类别所有的样本点，再在剩余的数据集里，寻找下一个类别，直到所有样本都找到类别。

3.基于层次

基于层次的聚类，则是从一个更为立体的角度，对样本点进行自底向上的逐层的划分。AGENS是这一种算法里的代表，在第一层里，它将所有样本点当做是一个初始类别，通过计算类别之间的距离，不断的进行合并，从而在最后一层里保留下指定个数的类别。

相对于监督学习，无监督学习没有了标签的羁绊，反而成为了一个更为开放的场景，出现了一大批的形态各异的算法。但这些不同类型的聚类算法，仍要去讨论一些共同的问题，比如如何去度量聚类结果的性能，这里又分为外部指标和内部指标;比如如何去计算样本点之间的距离，基于不同维度，闵氏距离可以分为曼哈顿距离，欧氏距离，和切比雪夫距离。

二、包裹法实现机器学习特征选择

过滤法是从特征重要性高低的角度来加以排序，从而完成目标特征选择或者低效特征滤除的过程。其最大的弊端之一在于因为不依赖任何模型，所以无法针对性的选择出相应模型最适合的特征体系。同时，其还存在一个隐藏的问题：即特征选择保留比例多少的问题，实际上这往往是一个超参数，一般需要人为定义或者进行超参寻优。

与之不同，包裹法将特征选择看做是一个黑盒问题：即仅需指定目标函数(这个目标函数一般就是特定模型下的评估指标)，通过一定方法实现这个目标函数最大化，而不关心其内部实现的问题。进一步地，从具体实现的角度来看，给定一个含有N个特征的特征选择问题，可将其抽象为从中选择最优的K个特征子集从而实现目标函数取值最优。易见，这里的K可能是从1到N之间的任意数值，所以该问题的搜索复杂度是指数次幂：O(2^N)。

当然，对于这样一个具有如此高复杂度的算法，聪明的前辈们是不可能去直接暴力尝试的，尤其是考虑这个目标函数往往还是足够expensive的(即模型在特定的特征子集上的评估过程一般是较为耗时的过程)，所以具体的实现方式一般有如下两种：

序贯选择。美其名曰序贯选择，其实就是贪心算法。即将含有K个特征的最优子空间搜索问题简化为从1->K的递归式选择(Sequential Feature Selection, SFS)或者从N->K的递归式消除(Sequential Backward Selection, SBS)的过程，其中前者又称为前向选择，后者相应的称作后向选择。

启发式搜索。启发式搜索一般是应用了进化算法，例如在优化领域广泛使用的遗传算法。在具体实现中，需要考虑将特征子空间如何表达为种群中的一个个体(例如将含有N个特征的选择问题表达为长度为N的0/1序列，其中1表示选择该特征，0表示不选择，序列中1的个数即为特征子空间中的特征数量)，进而可将模型在相应特征子空间的效果定义为对应个体在种群中的适应度;其次就是定义遗传算法中的主要操作：交叉、变异以及繁殖等进化过程。

以上所有内容便是小编此次为大家带来的有关机器学习的所有介绍，如果你想了解更多有关它的内容，不妨在我们网站或者百度、google进行探索哦。