python函数拟合误差 python拟合曲线误差分析

如何用Python进行线性回归以及误差分析

线性回归:

成都创新互联专注于企业网络营销推广、网站重做改版、萨尔图网站定制设计、自适应品牌网站建设、H5高端网站建设成都商城网站开发、集团公司官网建设、外贸网站建设、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为萨尔图等各大城市提供网站开发制作服务。

设x,y分别为一组数据,代码如下

import matplotlib.pyplot as plt

import numpy as np

ro=np.polyfit(x,y,deg=1) #deg为拟合的多项式的次数(线性回归就选1)

ry=np.polyval(ro,x) #忘记x和ro哪个在前哪个在后了。。。

print ro #输出的第一个数是斜率k,第二个数是纵截距b

plt.scatter(x,y)

plt.plot(x,ry)

Python最小二乘法拟合与作图

在函数拟合中,如果用p表示函数中需要确定的参数,那么目标就是找到一组p,使得下面函数S的值最小:

这种算法称为最小二乘法拟合。Python的Scipy数值计算库中的optimize模块提供了 leastsq() 函数,可以对数据进行最小二乘拟合计算。

此处利用该函数对一段弧线使用圆方程进行了拟合,并通过Matplotlib模块进行了作图,程序内容如下:

Python的使用中需要导入相应的模块,此处首先用 import 语句

分别导入了numpy, leastsq与pylab模块,其中numpy模块常用用与数组类型的建立,读入等过程。leastsq则为最小二乘法拟合函数。pylab是绘图模块。

接下来我们需要读入需要进行拟合的数据,这里使用了 numpy.loadtxt() 函数:

其参数有:

进行拟合时,首先我们需要定义一个目标函数。对于圆的方程,我们需要圆心坐标(a,b)以及半径r三个参数,方便起见用p来存储:

紧接着就可以进行拟合了, leastsq() 函数需要至少提供拟合的函数名与参数的初始值:

返回的结果为一数组,分别为拟合得到的参数与其误差值等,这里只取拟合参数值。

leastsq() 的参数具体有:

输出选项有:

最后我们可以将原数据与拟合结果一同做成线状图,可采用 pylab.plot() 函数:

pylab.plot() 函数需提供两列数组作为输入,其他参数可调控线条颜色,形状,粗细以及对应名称等性质。视需求而定,此处不做详解。

pylab.legend() 函数可以调控图像标签的位置,有无边框等性质。

pylab.annotate() 函数设置注释,需至少提供注释内容与放置位置坐标的参数。

pylab.show() 函数用于显示图像。

最终结果如下图所示:

用Python作科学计算

numpy.loadtxt

scipy.optimize.leastsq

多项式拟合平方误差怎么求

线性模型(二)之多项式拟合

1. 多项式拟合问题

  多项式拟合(polynominal curve fitting)是一种线性模型,模型和拟合参数的关系是线性的。多项式拟合的输入是一维的,即x=xx=x,这是多项式拟合和线性回归问题的主要区别之一。

  多项式拟合的目标是构造输入xx的MM阶多项式函数,使得该多项式能够近似表示输入xx和输出yy的关系,虽然实际上xx和yy的关系并不一定是多项式,但使用足够多的阶数,总是可以逼近表示输入xx和输出yy的关系的。

  多项式拟合问题的输入可以表示如下:

D={(x1,y1),(x2,y2),...,(xi,yi),...,(xN,yN)}xi∈Ryi∈R

D={(x1,y1),(x2,y2),...,(xi,yi),...,(xN,yN)}xi∈Ryi∈R

  目标输出是得到一个多项式函数:

f(x)=w1x1+w2x2+wixi+...+wMxM+b=(∑i=1Mwixi)+b

f(x)=w1x1+w2x2+wixi+...+wMxM+b=(∑i=1Mwixi)+b

其中MM表示最高阶数为MM。

  可见在线性拟合的模型中,共包括了(M+1)(M+1)个参数,而该模型虽然不是输入xx的线性函数,但却是(M+1)(M+1)个拟合参数的线性函数,所以称多项式拟合为线性模型。对于多项式拟合问题,其实就是要确定这(M+1)(M+1)个参数,这里先假设阶数MM是固定的(MM是一个超参数,可以用验证集来确定MM最优的值,详细的关于MM值确定的问题,后面再讨论),重点就在于如何求出这(M+1)(M+1)个参数的值。

2.优化目标

  多项式拟合是利用多项式函数逼近输入xx和输出yy的函数关系,通过什么指标来衡量某个多项式函数的逼近程度呢?(其实这就是误差/损失函数)。拟合/回归问题常用的评价指标是均方误差(在机器学习中的模型评估与度量博客中,我进行了介绍)。多项式拟合问题也同样采用该评价指标,以均方误差作为误差/损失函数,误差函数越小,模型越好。

E(w,b)=1N∑i=1N[f(xi)−yi]2

E(w,b)=1N∑i=1N[f(xi)−yi]2

  系数1N1N是一常数,对优化结果无影响,可以去除,即将均方误差替换为平方误差:

E(w,b)=∑i=1N[f(xi)−yi]2

E(w,b)=∑i=1N[f(xi)−yi]2

   到这里,就成功把多项式拟合问题变成了最优化问题,优化问题可表示为:

argminw,bE(w,b)

arg⁡minw,b⁡E(w,b)

即需要求得参数{w1,...,wM,b}{w1,...,wM,b}的值,使得E(w,b)E(w,b)最小化。那么如何对该最优化问题求解呢?

3. 优化问题求解

3.1 求偏导,联立方程求解

   直观的想法是,直接对所有参数求偏导,令偏导为0,再联立这M+1M+1个方程求解(因为共有M+1M+1个参数,故求偏导后也是得到M+1M+1个方程)。

E(w,b)=∑i=1N[f(xi)−yi]2=∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]2

E(w,b)=∑i=1N[f(xi)−yi]2=∑i=1N[(w1xi1+w2xi2+wixij+...+wMxiM+b)−yi]2

利用E(w,b)E(w,b)对各个参数求偏导,如下:

∂E(w,b)∂wj∂E(w,b)∂b=2∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]xji=2∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]

∂E(w,b)∂wj=2∑i=1N[(w1xi1+w2xi2+wixij+...+wMxiM+b)−yi]xij∂E(w,b)∂b=2∑i=1N[(w1xi1+w2xi2+wixij+...+wMxiM+b)−yi]

求导之后,将各个点(xi,yi)(xi,yi)的值带入偏导公式,联立方程求解即可。

  针对该解法,可以举个例子详细说明,比如有两个点(2,3),(5,8)(2,3),(5,8),需要利用二阶多项式f(x)=w1x+w2x2+bf(x)=w1x+w2x2+b拟合。求解过程如下:

该二阶多项式对参数求偏导得到

∂E(w,b)∂wj∂E(w,b)∂b=2∑i=12[(w1x1i+w2x2i+b)−yi]xji=[(w1x1+w2x21+b)−y1]xj1+[(w1x2+w2x22+b)−y2]xj2=2∑i=12[(w1x1i+w2x2i+b)−yi]=[(w1x1+w2x21+b)−y1]+[(w1x2+w2x22+b)−y2]

∂E(w,b)∂wj=2∑i=12[(w1xi1+w2xi2+b)−yi]xij=[(w1x1+w2x12+b)−y1]x1j+[(w1x2+w2x22+b)−y2]x2j∂E(w,b)∂b=2∑i=12[(w1xi1+w2xi2+b)−yi]=[(w1x1+w2x12+b)−y1]+[(w1x2+w2x22+b)−y2]

将点(2,3),(5,8)(2,3),(5,8)带入方程,可以得到3个方程,

2b+7w1+29w2=117b+29w1+133w2=4629b+133w1+641w2=212

2b+7w1+29w2=117b+29w1+133w2=4629b+133w1+641w2=212

联立这三个方程求解,发现有无穷多的解,只能得到3w1+21w2=53w1+21w2=5,这三个方程是线性相关的,故没有唯一解。

  该方法通过求偏导,再联立方程求解,比较复杂,看着也很不美观。那么有没有更加方便的方法呢?

3.2 最小二乘法

   其实求解该最优化问题(平方和的最小值)一般会采用最小二乘法(其实最小二乘法和求偏导再联立方程求解的方法无本质区别,求偏导也是最小二乘法,只是这里介绍最小二乘的矩阵形式而已)。最小二乘法(least squares),从英文名非常容易想到,该方法就是求解平方和的最小值的方法。

  可以将误差函数以矩阵的表示(NN个点,最高MM阶)为:

∥Xw−y∥2

‖Xw−y‖2

其中,把偏置bb融合到了参数ww中,

w={b,w1,w2,...,wM}

w={b,w1,w2,...,wM}

XX则表示输入矩阵,

⎡⎣⎢⎢⎢⎢11...1x1x2...xNx21x22...x2N............xM1xM2...xMN⎤⎦⎥⎥⎥⎥

[1x1x12...x1M1x2x22...x2M...............1xNxN2...xNM]

yy则表示标注向量,

y={y1,y2,...,yN}T

y={y1,y2,...,yN}T

因此,最优化问题可以重新表示为

minw∥Xw−y∥2

minw‖Xw−y‖2

对其求导,

∂∥Xw−y∥2∂w=∂(Xw−y)T(Xw−y)∂w=∂(wTXT−yT)(Xw−y)∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w

∂‖Xw−y‖2∂w=∂(Xw−y)T(Xw−y)∂w=∂(wTXT−yT)(Xw−y)∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w

在继续对其求导之前,需要先补充一些矩阵求导的先验知识(常见的一些矩阵求导公式可以参见转载的博客),如下:

∂xTa∂x=a∂ax∂x=aT∂xTA∂x=Ax+ATx

∂xTa∂x=a∂ax∂x=aT∂xTA∂x=Ax+ATx

根据上面的矩阵求导规则,继续进行损失函数的求导

∂∥Xw−y∥2∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w=XTXw+(XTX)Tw−(yTX)T−XTy=2XTXw−2XTy

∂‖Xw−y‖2∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w=XTXw+(XTX)Tw−(yTX)T−XTy=2XTXw−2XTy

其中XTXw=(XTX)TwXTXw=(XTX)Tw.令求导结果等于0,即可以求导问题的最小值。

2XTXw−2XTy=0w=(XTX)−1XTy

2XTXw−2XTy=0w=(XTX)−1XTy

  再利用最小二乘法的矩阵形式对前面的例子进行求解,用二阶多项式拟合即两个点(2,3),(5,8)(2,3),(5,8)。

表示输入矩阵 XX和标签向量yy

X=[1125425]y=[38]T

X=[1241525]y=[38]T

计算XTXXTX

XTX=⎡⎣⎢272972913329133641⎤⎦⎥

XTX=[272972913329133641]

矩阵求逆,再做矩阵乘法运算

但 XTXXTX不可逆,故无唯一解。

  关于矩阵的逆是否存在,可以通过判断矩阵的行列式是否为0(det(A)=?0det(A)=?0 来判断,也可以通过初等行变换,观察矩阵的行向量是否线性相关,在这个例子下,矩阵不可逆,故有无穷多解。但如果新增一个点(4,7)(4,7),则就可以解了。

  其实这和数据集的点数和选择的阶数有关,如果点数小于阶数则会出现无穷解的情况,如果点数等于阶数,那么刚好有解可以完全拟合所有数据点,如果点数大于阶数,则会求的近似解。

  那么对于点数小于阶数的情况,如何求解?在python的多项式拟合函数中是可以拟合的,而且效果不错,具体算法不是很了解,可以想办法参考python的ployfit()函数的实现。

4. 拟合阶数的选择

   在前面的推导中,多项式的阶数被固定了,那么实际场景下应该如何选择合适的阶数MM呢?

一般会选择阶数MM小于点数NN

把训练数据分为训练集合验证集,在训练集上,同时用不同的MM值训练多个模型,然后选择在验证集误差最小的阶数script type="math/tex" id="MathJax-Element-5573"M/script


文章标题:python函数拟合误差 python拟合曲线误差分析
转载源于:http://myzitong.com/article/dochheg.html