基于R语言的分类算法之决策树

基于R语言的分类算法之决策树

创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站建设、网站设计、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的东洲网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

ID3 《= 最大信息熵增益，只能处理离散型数据

C4.5 《= 信息增益率，可处理连续性和离散型数据，相比ID3，减少了因变量过多导致的过拟合

C5.0 《= 信息增益率，运算性能比C4.5更强大

CART 《= 基尼指数最小原则，连续性和离散型数据均可

信息熵体现的是数据的杂乱程度，信息越杂乱，信息熵越大，反之越小。 例如：拥有四种连续型变量的特征变量的信息熵一定比拥有三种的要大。

特征变量的N种可能性，每种可能性的概率相同，N越大，信息熵越大。

每种可能性的概率不同，越偏态，信息熵越小。

所有特征变量中，信息增益率的，就是根节点（root leaf），根节点一般是选择N越大的特征变量，因为N越大，信息熵越大。

信息增益率是在信息熵的基础上作惩罚计灶亩悉算，避免特征变量可能性多导致的高信息增益。

代码相关

library（C50）

C5.0(x,y, trials = 1, rules=FALSE,weights=NULL,control=C5.0Control(),costs=NULL)

x为特征变量，y为应变量

trials 为迭代次数（这个值根据不同数据而不同，并耐竖非越大越好，一般介于5-15之间，可以用遍历来寻找最高准确率的模型，对模型准确率的提升效果中等）

cost 为损失矩阵，R中应该传入一个矩阵（据说是对准确率矩阵约束猜测错误的项，但是并没特别明显的规律，可以使用遍历来寻找最好的cost，准确率提升效果小）

costs - matrix(c(1,2,1,2),

ncol = 2, byrow = TRUE,

dimnames = list(c("yes","no"), c("yes","no")))

control 设置C5.0模型的其他参数，比如置信水平和节点最小样本等（水很深，参数很多，可以自行查阅R的帮助文档，我隐乎只设置了一个CF，准确率提升效果小）

control = C5.0Control(CF = 0.25)

library(C50)

#对iris随机划分训练集和测试集

set.seed(1234)

index - sample(1:nrow(iris), size = 0.75*nrow(iris))

train - iris[index,]

test - iris[-index,]

#查看训练集和测试集分布是否合理

prop.table(table(train$Species))

prop.table(table(test$Species))

#不设置任何参数

fit1 - C5.0(x = train[,1:4], y = train[,5])

pred1 - predict(fit1, newdata = test[,-5])

freq1 - table(pred1, test[,5])

accuracy - sum(diag(freq1))/sum(freq1)

pred1 setosa versicolor virginica

setosa 16 0 0

versicolor 0 13 1

virginica 0 0 8

准确率为0.9736842，只有一个错误。。。显然150个iris太少了，优化都省了。

如何用R语言实现决策树C5.0模型

如何用R语言实现决策树C5.0模型

在决尺橘策树生成模乎困宏型后，将预测数据作为岁册输入，并与生成的模型连接进行求解即可。

R语言常用函数（基本）

vector：向量 numeric：数值型向量 logical：逻辑型向量 character；字符型向量 list：列表 data.frame：数据框

c：连接为向量或列表 sequence：等差序列 rep：重复

length：求长度 subset：求子集 seq，from:to， NA：缺失值 NULL：空对象 sort，order，unique，rev：排序 unlist：展平列表 attr，attributes：对象属性

mode，typeof：对象存储模式与类型 names：对象的名字属性

character：字符型向量 nchar：字符数 substr：取子串 format，formatC：把对象用格式转换为字符串 paste，strsplit：连接或拆分

charmatch，pmatch：字符串匹配 grep，sub，gsub：模式匹配与替换

complex，Re，Im，Mod，Arg，Conj：复数函数

factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子

table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对“不规则”数组应用函数

+, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif，trunc，zapsmall：舍入 max，min，pmax，pmin：最大最小值

range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加洞败、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数

abs，sqrt：绝对值，平方根 log, exp, log10, log2：对数与指数函数 sin，cos，tan，asin，acos，atan，atan2：三角函数

sinh，cosh，tanh，asinh，acosh，atanh：双曲函数

beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数

fft，mvfft，convolve：富利叶变换困盯及卷积 polyroot：多项式求根 poly：正交多项式 spline，splinefun：样条差值

besselI，besselK，besselJ，besselY，gammaCody：Bessel函数 deriv：简单表达式的符号微分或算法微分

array：建立数组 matrix：生成矩阵 data.matrix：把数据框转换为数值型矩阵 lower.tri：矩阵的下三角部分 mat.or.vec：生成矩阵或向量 t：矩阵转置

cbind：把列合并为矩阵 rbind：把行合并为矩阵 diag：矩阵对角元素向量或生成对角矩阵 aperm：数组转置 nrow, ncol：计算数组的行数和列数 dim：对象的维向量

dimnames：对象的维名 row/colnames：行名或列名 %*%：矩阵乘法 crossprod：矩阵交叉乘积（内积） outer：数组外积 kronecker：数组的Kronecker积

apply：对数组的某些维应用函数 tapply：对“不规则”数组应用函数 sweep：计算数组的概括统计量 aggregate：计算数据子集的概括统计量 scale：矩阵标准化

matplot：对矩阵各列绘图 cor：相关阵或协差阵 Contrast：对照矩阵 row：矩阵的行下标集 col：求列下标集

solve：解线性方程组或求逆 eigen：矩阵纳尺颤的特征值分解 svd：矩阵的奇异值分解 backsolve：解上三角或下三角方程组 chol：Choleski分解

qr：矩阵的QR分解 chol2inv：由Choleski分解求逆

，，=，=，==，!=：比较运算符 !，，，|，||，xor()：逻辑运算符 logical：生成逻辑向量 all，any：逻辑向量都为真或存在真

ifelse()：二者择一 match，%in%：查找 unique：找出互不相同的元素 which：找到真值下标集合 duplicated：找到重复元素

optimize，uniroot，polyroot：一维优化与求根

if，else，ifelse，switch：分支 for，while，repeat，break，next：循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。

function：函数定义 source：调用文件 call：函数调用 .C，.Fortran：调用C或者Fortran子程序的动态链接库。 Recall：递归调用

browser，debug，trace，traceback：程序调试 options：指定系统参数 missing：判断虚参是否有对应实参 nargs：参数个数 stop：终止函数执行

on.exit：指定退出时执行 eval，expression：表达式计算 system.time：表达式计算计时 invisible：使变量不显示 menu：选择菜单（字符列表菜单）

其它与函数有关的还有：delay，delete.response，deparse，do.call，dput，environment ，，formals，format.info，interactive，

is.finite，is.function，is.language，is.recursive ，match.arg，match.call，match.fun，model.extract，name，parse，substitute，sys.parent ，warning，machine

cat，print：显示对象 sink：输出转向到指定文件 dump，save，dput，write：输出对象 scan，read.table，load，dget：读入

ls，objects：显示对象列表 rm, remove：删除对象 q，quit：退出系统 .First，.Last：初始运行函数与退出运行函数。

options：系统选项 ?，help，help.start，apropos：帮助功能 data：列出数据集分析

每一种分布有四个函数：d――density（密度函数），p――分布函数，q――分位数函数，r――随机数函数。

比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名：

norm：正态，t：t分布，f：F分布，chisq：卡方（包括非中心） unif：均匀，exp：指数，weibull：威布尔，gamma：伽玛，beta：贝塔

lnorm：对数正态，logis：逻辑分布，cauchy：柯西， binom：二项分布，geom：几何分布，hyper：超几何，nbinom：负二项，pois：泊松 signrank：符号秩，

wilcox：秩和，tukey：学生化极差

sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量，sort，order，rank与排序有关，其它还有ave，fivenum，mad，quantile，stem等。

R中已实现的有chisq.test，prop.test，t.test。

cor，cov.wt，var：协方差阵及相关阵计算 biplot，biplot.princomp：多元数据biplot图 cancor：典则相关 princomp：主成分分析 hclust：谱系聚类

kmeans：k-均值聚类 cmdscale：经典多维标度 其它有dist，mahalanobis，cov.rob。

ts：时间序列对象 diff：计算差分 time：时间序列的采样时间 window：时间窗

lm，glm，aov：线性模型、广义线性模型、方差

R语言常用函数整理（基础篇）

R语言常用函数整理本篇是基础篇，即R语言自带的函数。

vector：向量

numeric：数值型向量

logical：逻辑型向量

character；字符型向量

list：列表

data.frame：数据框

c：连接为向量或列表

length：求长度

subset：求子集

seq，from:to，sequence：等差序列

rep：重复

NA：缺失值

NULL：空对象

sort，order，unique，rev：排序

unlist：展平列表

attr，attributes：对象属性

mode，class，typeof：对象存储模式与类型

names：对象的名字属性

字符型向量 nchar：字符数

substr：取子串 format，formatC：把对象用格式转换为字符串

paste()、paste0()不仅可以连接多个字符串，还可以将对象自动转换为字符串再相连，另外还能处理向量。

strsplit：连接或拆分

charmatch，pmatch：字符串匹配

grep，sub，gsub：模式匹配与替换

complex，Re，Im，Mod，Arg，Conj：复数函埋败胡数

factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子

table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对“不规则”数组应用函数

dev.new() 新建画板

plot()绘制点线图,条形图,散点图.

barplot( ) 绘制条形图

dotchart( ) 绘制点图

pie( )绘制饼图.

pair( )绘制散点图阵

boxplot( )绘制箱线图

hist( )绘制直方图

scatterplot3D( )绘制3D散点图.

par()可以添加很多参数来修改图形

title( )　添加标题

axis( )　调整刻度

rug( )　添加轴密度

grid( )　添加网格线

abline( )　添加直线

lines( )　添加曲线

text( )　添加标签

legend(）　添加图例

+, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif

1、round() #四舍五入

例：x - c(3.1416, 15.377, 269.7)

round(x, 0) #保留整数位

round(x, 2) #保留两位小数

round(x, -1) #保留到十位

2、signif() #取有效数字(跟学过的有效数字不是一个意思)

例：略

3、trunc() #取整

floor() #向下取整

ceiling() #向上取整

例：xx - c(3.60, 12.47, -3.60, -12.47)

trunc(xx)

floor(xx)

ceiling(xx)

max，min，pmax，pmin：最大最小值

range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数弯拦

abs，sqrt：绝对值，平方枯庆根

log, exp, log10, log2：对数与指数函数

sin，cos，tan，asin，acos，atan，atan2：三角函数

sinh，cosh，tanh，asinh，acosh，atanh：双曲函数

beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数

fft，mvfft，convolve：富利叶变换及卷积

polyroot：多项式求根

poly：正交多项式

spline，splinefun：样条差值

besselI，besselK，besselJ，besselY，gammaCody：Bessel函数

deriv：简单表达式的符号微分或算法微分

array：建立数组

matrix：生成矩阵

data.matrix：把数据框转换为数值型矩阵

lower.tri：矩阵的下三角部分

mat.or.vec：生成矩阵或向量

t：矩阵转置

cbind：把列合并为矩阵

rbind：把行合并为矩阵

diag：矩阵对角元素向量或生成对角矩阵

aperm：数组转置

nrow, ncol：计算数组的行数和列数

dim：对象的维向量

dimnames：对象的维名

rownames，colnames：行名或列名

%*%：矩阵乘法

crossprod：矩阵交叉乘积（内积）

outer：数组外积

kronecker：数组的Kronecker积

apply：对数组的某些维应用函数

tapply：对“不规则”数组应用函数

sweep：计算数组的概括统计量

aggregate：计算数据子集的概括统计量

scale：矩阵标准化

matplot：对矩阵各列绘图

cor：相关阵或协差阵

Contrast：对照矩阵

row：矩阵的行下标集

col：求列下标集

solve：解线性方程组或求逆

eigen：矩阵的特征值分解

svd：矩阵的奇异值分解

backsolve：解上三角或下三角方程组

chol：Choleski分解

qr：矩阵的QR分解

chol2inv：由Choleski分解求逆

，，=，=，==，!=：比较运算符 !，，，|，||，xor()：

逻辑运算符 logical：

生成逻辑向量 all，

any：逻辑向量都为真或存在真

ifelse()：二者择一 match，

%in%：查找

unique：找出互不相同的元素

which：找到真值下标集合

duplicated：找到重复元素

optimize，uniroot，polyroot：一维优化与求根

if，else，

ifelse，

switch：

分支 for，while，repeat，break，next：

循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。

function：函数定义

source：调用文件 ’

call：函数调用 .

C，.Fortran：调用C或者Fortran子程序的动态链接库。

Recall：递归调用

browser，debug，trace，traceback：程序调试

options：指定系统参数

missing：判断虚参是否有对应实参

nargs：参数个数 stop：终止函数执行

on.exit：指定退出时执行 eval，expression：表达式计算

system.time：表达式计算计时

invisible：使变量不显示

menu：选择菜单（字符列表菜单）

其它与函数有关的还有：

delay，

delete.response，

deparse，

do.call，

dput，

environment ，

formals，

format.info，

interactive，

is.finite，

is.function，

is.language，

is.recursive ，

match.arg，

match.call，

match.fun，

model.extract，

name，

parse 函数能将字符串转换为表达式expression

deparse 将表达式expression转换为字符串

eval 函数能对表达式求解

substitute，

sys.parent ，

warning，

machine

cat，print：显示对象

sink：输出转向到指定文件

dump，save，dput，write：输出对象

scan，read.table，readlines, load，dget：读入

ls，objects：显示对象列表

rm, remove：删除对象

q，quit：退出系统

.First，.Last：初始运行函数与退出运行函数。

options：系统选项

?，help，help.start，apropos：帮助功能

data：列出数据集

head()查看数据的头几行

tail()查看数据的最后几行

每一种分布有四个函数：

d―density（密度函数），p―分布函数，q―分位数函数，r―随机数函数。

比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名：

norm：正态，

t：t分布，

f：F分布，

chisq：卡方（包括非中心）

unif：均匀，

exp：指数，

weibull：威布尔，

gamma：伽玛，

beta：贝塔

lnorm：对数正态，

logis：逻辑分布，

cauchy：柯西，

binom：二项分布，

geom：几何分布，

hyper：超几何，

nbinom：负二项，

pois：泊松

signrank：符号秩，

wilcox：秩和，

tukey：学生化极差

sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量，

sort，order，rank与排序有关，

其它还有ave，fivenum，mad，quantile，stem等。

R中已实现的有chisq.test，prop.test，t.test。

cor，cov.wt，var：协方差阵及相关阵计算

biplot，biplot.princomp：多元数据biplot图

cancor：典则相关

princomp：主成分分析

hclust：谱系聚类

kmeans：k-均值聚类

cmdscale：经典多维标度

其它有dist，mahalanobis，cov.rob。

ts：时间序列对象

diff：计算差分

time：时间序列的采样时间

window：时间窗

lm，glm，aov：线性模型、广义线性模型、方差分析

quo()等价于quote()

enquo()等价于substitute(）

新闻标题：r语言c5.0函数 r语言函数大全
标题来源：http://myzitong.com/article/ddpjdjh.html