开1个机器学习方法科普系列,也做基础回顾之用。学而时习之。
content:
linear regression, Ridge, Lasso
Logistic Regression, Softmax
Kmeans, GMM, EM, Spectral Clustering
Dimensionality Reduction: PCA、LDA、Laplacian Eigenmap、 LLE、 Isomap(修改前面的blog)
SVM
C3、C4.5
Apriori,FP
PageRank
minHash, LSH
Manifold Ranking,EMR
待补充
…
…
开始几篇将详细介绍1下线性回归linear regression,和加上L1和L2的正则的变化。后面的文章将介绍逻辑回归logistic regression,和Softmax regression。为何要先讲这几个方法呢?由于它们是机器学习/深度学习的基石(building block)之1,而且在大量教学视频和教材中反复被提到,所以我也记录1下自己的理解,方便以后翻阅。这3个方法都是有监督的学习方法,线性回归是回归算法,而逻辑回归和softmax本质上是分类算法(从离散的分类目标导出),不过有1些场合下也有混着用的――如果目标输出值的取值范围和logistic的输出取值范围1致。
ok,空话不多说。
可以说基本上是机器学习中最简单的模型了,但是实际上其地位很重要(计算简单、效果不错,在很多其他算法中也能够看到用LR作为1部份)。
定义1下1些符号表达,我们通常习惯用
线性回归的模型是这样的,对1个样本
线性回归的目标是用预测结果尽量地拟合目标label,用最多见的Least square作为loss function:
接下来看1下我们寻觅到的预测值的1个几何解释:从上面的解析解
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠