页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

链接地址: 

http://www.17runner.com/learn/518 http://www.apache.wiki/pages/viewpage.action?pageId=5505133

逻辑回归与线性回归

相同点: 

两者都是广义线性模型GLM(Generalized linear models)

不同点: 

1.线性回归要求因变量(假设为Y)是连续数值变量,而logistic回归要求因变量是离散的类型变量,例如最常见的二分类问题,1代表正样本,0代表负样本 

2.线性回归要求自变量服从正态分布,logistic回归对变量的分布则没有要求 

3.线性回归要求自变量与因变量有线性关系,Logistic回归没有要求 

4.线性回归是直接分析因变量与自变量的关系,logistic回归是分析因变量取某个值的概率与自变量的关系

最主要的区别是第一点

 

维基百科:http://zh.wikipedia.org/wiki/最小二乘法


面板

目录结构

目录

1. 介绍

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合。

2. 案例说明

某次实验得到了四个数据点 :(x,y)、(1, 6)、(2, 5)、(3, 7)、(4, 10)(右图中红色的点)。我们希望找出一条和这四个点最匹配的直线 y=β1 + β2x ,即找出在某种“最佳情况”下能够大致符合如下线性方程组的β1和β2:

β1 + 1β2 = 6

β1 + 2β2 = 5

β1 + 3β2 = 7

β1 + 4β2 = 10

最小二乘法采用的手段是尽量使得等号两边的方差最小,也就是找出这个函数的最小值:

最小值可以通过对S(β1,β2)分别求 β1 和 β2 的偏导数,然后使它们等于零得到。

如此就得到了一个只有两个未知数的方程组,很容易就可以解出:

β1 = 3.5

β2 = 1.4

也就是说直线 y = 3.5 + 1.4x 是最佳的。

 

3. 最小二乘法(一元线性),公式推导

转化为矩阵的计算

 

4.最小二乘法(多元线性),求解步骤

1. 这是我们常用公式: y=kx+b (只是由一元变为多元叻) 

2. 假如,有一批量的x和y,得到一系列的公式。 

3. 我们通常可以通过矩阵来表示: 

4. 最终我们求的就是:最小误差的平凡和,寻找最有函数匹配 

5. 最后β结果集,就是下面的公司推到。(至于为什么,你们有兴趣的可以研究一下,到时候分享给大家看看)

6. 注意事项
经典的最小二乘法使用起来够简单粗暴,计算过程也不复杂。但是一个致命的问题就是其对噪声的容忍度很低。试想一下,如果前面我们得到的总采样数据为100个,但是里面有几个大胖子,这几个大胖子就相当于不是普通人的身高-体重系数,他们就是噪声了。如果不采取一些手段对这几个噪声样本进行处理,最后计算出来的身高-体重系数肯定会比正常值要偏大。
对于噪声的处理,比如有加权最小二乘等方法,后续有时间跟大家再讲讲。


参考地址:

  夏天GG:http://blog.csdn.net/bitcarmanlee/article/details/51589143

  维基百科:http://zh.wikipedia.org/wiki/最小二乘法


 


 

面板
borderStyledashed


Contributor片刻

网站地址: www.apache.wiki

ApacheCN【技术属于世界、欢迎转载传播】