sklearn中无监督学习算法主要分为以下类型：预处理、分解和聚类。

可以看到上述算法所属模块即对应了预处理、分解和聚类。

预处理就是用于对监督学习算法的输入数据做前期处理，输入和输出都是一组Features。

事实上分解和聚类也可以作为监督学习算法的前期处理，不过他们也可以提供一些额外的功能。

下面对这些算法做逐一简要说明：

根据最大最小值缩放和平移特征，默认参数使得每个特征都在0~1之间。

主成分分析是找到原特征的一种新的表示，从线性代数的角度讲是找到一组正交基，然后把原特征当成向量，算出它们在新基下的表示，也就得到一组新表示下特征。这组正交基的取法是先找到原特征离散度最大的轴向，作为正交基的第一个轴，然后第二个轴是在与第一个轴“垂直”的超平面上，继续选取离散度最大的轴向，第三个轴要在与前两个轴都“垂直”的超平面上找离散度最大的轴向，以此类推。因为变换得到的新特征再前几个轴上离散程度较高后面依次降低，我们有理由期望新特征的前几个分量对Target的影响更大（虽然不一定），因此我们可以用PCA来对Feature降维（即丢弃掉后面离散程度最小的一些轴向上的坐标）。

K均值聚类，所谓聚类就是把数据集按照一定的规则进行分组，使得同组的数据相似，不同组的数据相异，这些组在聚类算法中称为簇，K均值聚类要事先告知簇个数，算法的核心就是不停修正每个簇的簇中心，先随机选K个点作为簇中心，交替进行以下两个步骤：将每个数据点分配给最近的簇中心，然后将每个簇中心设置为所分配的所有数据点的平均值，重复以上步骤直至簇的分配不再变化。前面说聚类也可以作为监督学习算法的前期处理，这里如果我们用簇中心来代表簇里的数据点，那么每个点都可以用一个单一分量来表示（簇的编号），这称为矢量量化。（不过这种分量一般不具有连续意义，似乎还要再进行OneHot编码）

魔のkyo 2019-10-22 02:19 发表评论

适用于小型数据集，基准模型，容易解释。不适用于高维稀疏数据，不能外推（超出训练数据集的范围进行预测）。

非常可靠的首选算法，适用于非常大的数据集，也适用于高维数据，可以外推。在低维空间中泛化性能可能很差（这还要看具体问题本身的特点，还可以通过扩展特征来增加线性模型的可用性）。

其中最小二乘法、岭回归、Lasso回归、弹性网络为回归器，不需要数据缩放。逻辑回归、线性支持向量机为分类器，逻辑回归如果不进行数据缩放会导致收敛较慢需要增加迭代次数，线性支持向量机需要进行数据缩放。

只适用于分类问题。适用于非常大的数据集和高维数据，比线性模型速度快，精度低于线性模型。

速度很快，不需要数据缩放，可以可视化，很容易理解。不适用于高维稀疏数据，不能外推。

几乎总是比单棵决策树的表现要好，鲁棒性很好(可以容忍训练集中有一些错误的数据)，通常不需要反复调节参数就可以给出很好的结果，不需要数据缩放，不适用于高维稀疏数据，不能外推。

是监督学习中最强大也最常用的模型之一。精度通常比随机森林略高，与随机森林相比，训练速度更慢，但预测速度更快，需要的内存更少，比随机森林需要更多的参数调节，不适用于高维稀疏数据，不能外推。

是非常强大的模型，允许决策边界很复杂，在低维和高维数据集上的表现都很好。对于特征含义相似的中等大小（几千~几万这样的量级）的数据集很强大。需要数据缩放，对参数敏感，可以外推。

可以构建非常复杂的模型，特别是对于大型数据集而言。对于数据缩放敏感，对参数选取敏感。大型网络需要很长的训练时间。

算法名	所属模块	分类器	回归器	主要参数(-号表示越小越模型复杂)
K近邻（KNN）	neighbors	KNeighborsClassifier	KNeighborsRegressor	-n_neighbors=5
最小二乘法	linear_model		LinearRegression
岭回归	linear_model		Ridge	-alpha=1
Lasso回归	linear_model		Lasso	-alpha=1
弹性网络	linear_model		ElasticNet	-alpha=1, l1_ratio=0.5
逻辑回归	linear_model	LogisticRegression		+C=1.0
线性支持向量机	svm	LinearSVC	LinearSVR	+C=1.0
高斯朴素贝叶斯	naive_bayes	GaussianNB
伯努利朴素贝叶斯	naive_bayes	BernoulliNB		-alpha=1.0
多项式朴素贝叶斯	naive_bayes	MultinomialNB		-alpha=1.0
决策树	tree	DecisionTreeClassifier	DecisionTreeRegressor	+max_depth
随机森林	ensemble	RandomForestClassifier	RandomForestRegressor	+n_estimators
梯度提升机	ensemble	GradientBoostingClassifier	GradientBoostingRegressor	+n_estimators, +learning_rate
核支持向量机	svm	SVC	SVR	kernel='rbf', +C, +gamma
多层感知机	neural_network	MLPClassifier	MLPRegressor	solver='lbfgs', -alpha, hidden_layer_sizes

魔のkyo 2019-10-16 23:44 发表评论

下面分别对这些模型进行讨论，

普通最小二乘法的思想就是让均方误差最小化。

假设X是样本，f是预测值，y是实际值，最小二乘就是找一对 w,b，满足 f(i) = w * x(i)转置 + b 并且，均方误差 = (y-f).dot(y-f) / len(X) 最小化

普通最小二乘法没什么可调整的参数，而且为了让均方误差最小化，w的一些分量可能非常大，这意味着这一特征对预测结果起决定性作用，而这时候训练出来的其他特征的权重可能并不正确，比如应该做正贡献的反而w对应分量是负的。

为了解决这个问题，我们可以通过施加约束，让w的分量都尽量小，这种约束叫正则化。

上面提到普通最小二乘法让使用误差均方来评价模型参数的好坏，这个用来估算模型好坏程度的函数叫损失函数。

所谓施加约束，其实就是在损失函数上做手脚。要限制w的分量也有不同的方法：

L1正则化，对应的模型就是Lasso回归，我简单的理解就是在Sigma|wi|上做手脚去限制

L2正则化，对应的模型就是岭回归（Ridge），我简单的理解就是在w.dot(w)上手脚去限制

更详细的说明可以参考 https://www.cnblogs.com/yongfuxue/articles/9971749.html

至于ElasticNet，是结合了L1正则化和L2正则化

其构造函数有两个主要参数ElasticNet(alpha=1, l1_ratio=0.5)

第一个参数alpha：

其中alpha越大，约束越大，模型越简单，越容易欠拟合。

反之alpha越小，约束越小（alpha=0时退化成普通最小二乘），模型越复杂，越容易过拟合。

通常要在对数尺度上对alpha进行搜索，已确定效果最好的alpha。

第二个参数l1_ratio：

l1_ratio是L1和L2的比例，官方文档上写到 a*L1 + b * L2，alpha = a+b，l1_ratio = a/(a+b)

所以通过控制l1_ratio的比例[0,1]，其实可以使模型退化成Lasso或Ridge。

因此，下面的例子就不在对Lasso和Ridge进行测试。

需要补充说明的是Lasso模型有一个用途就是它可以用来发现哪些特征比较有用，哪些特征影响不大，因为Lasso训练出来的模型很多w分量是0，通过训练后的模型.coef_ 可以看到这些系数。

下面我们对KNN、最小二乘、弹性网络的

学习曲线（训练数据集的大小和评分的函数）进行观察

这个例子的数据是用13个特征预测波士顿地区的房价，

可以看到最小二乘法在训练集比较小的时候非常差，要到100以上才比较稳定，当数据足够多之后效果还不错。（用普通最小二乘法预测的不稳定性在后面的例子更明显）

而ElasticNet稳定些，会比较快的可用，但是最终反而比普通最小二乘稍差，也可能是我没有仔细调过参的原因。

对于KNN算法模型的评分随着训练集的增加逐步上升，但最终预测效果差强人意。

下面还是波士顿房价的问题但把这些特征的两两乘积也作为特征，特征增加到了91项（=13+13*12/2）

可以看到普通最小二乘表现得有点奇怪，在训练集小于200之前非常不稳定，一度评分为0，即使训练集大于200也不太稳定。

弹性网络则要稳定的多，最终的评分也是弹性网络最好，这次我稍微调过参数了。

KNN还是一样，随着训练集的增加评分逐步上升，但最终预测效果差强人意。

下面是所使用的代码

魔のkyo 2019-10-06 17:25 发表评论