一.R语言基础
1.1 R的数据结构
向量、数据框、矩阵属于最常用的R数据结构,关于基础这里不多讲，简单概括一下
向量，简单来说就是一维数组
矩阵，就是二维数组
数据框，简单理解就是一张excel表，或者理解为关系型数据库的table
1.2 数据读取
读取csv文件：
read.csv(file="",header=TURE,sep="",stringAsFactors=FALSE)
读取文本文件：read.table()
从关系型数据库里读取数据
install.packages("RODBC") 如果安装时报错： sudo apt-get install unixODBC; sudo apt-get install unixODBC-dev
library(RODBC)
mydb <- odbcConnect("my_dsn",uid="username",pwd="password")
query <- "select * from …………"
df <- sqlQuery(channel=mydb,query,stringAsFactors=FALSE)
odbcClose(mydb)
二.数据探索
2.1 探索数据结构
以一个简单的图像识别数据为例
df <- read.csv("train.csv")
str(df)
'data.frame': 42000 obs. of 785 variables:
$ label : int 1 0 1 4 0 0 7 3 5 3 ...
$ pixel0 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel1 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel2 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel3 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel4 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel5 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel6 : int 0 0 0 0 0 0 0 0 0 0 ...
dim(df)
[1] 42000 785
head(df)
2.2 探索数值型变量以及变量关系
假设我们还不太了解这个数据的特征，那么我们如何进一步理解这些数据呢？首先我们先来看一下summary(df)
summary(df$label)
Min. 1st Qu. Median Mean 3rd Qu. Max.
0.000 2.000 4.000 4.457 7.000 9.000
可以看到每一个特征的最大、最小、均值、中位数、25%、75%。
df$label是从0到9的数字，也就是我们的目标值
as.factor(df[,1])将label转换为因子
其他列均为0-255的数字，共784列。
这里的数据是将手写数字0-9的图像转换为二维矩阵存储起来，即784=28*28，首列为数字标签。
diff(range(df$pixel358)) 某列数据最大差值
IQR(df$pixel668) Q3-Q1
quantile(df$pixel771,probs = c(0.01,0.99)) 查看百分位数
可视化：
boxplot()
cov()
cor()
aggregate()
pairs()
plot()
CrossTable()
各种统计模型和视图，包括3D散布图、热图、等高图等等以及方差、交叉表、分布模型……
2.3 探索分类变量
table(df$label) 频率
prop.table(table(df$label)) 占比重
2.4 处理数据
这里的数据时手写数字的图像，我们尝试将它转化为图像。
我们来看低40张数字：
im <- matrix(as.matrix(df[40,-1]),nrow = 28,ncol = 28)
image(1:28, 1:28, im, col=gray((0:255)/255))
图像是个反着的数字4，很容易认出来。那个机器如何识别出来呢？
三.算法尝试之随机森林
分类算法多种多样，我们可以选择很多种分类器来做分类。这里我们尝试一下随机森林算法。
R里面有randomForest（局限性比较大）包，可以做简单的随机森林算法尝试。party包也有cforest函数。
df <- read.csv("train.csv")
df$label <- as.factor(df$label)
ind <- sample(2,nrow(df),replace=TRUE,prob=c(0.8,0.2)) #随机取样，分为训练数据80%与测试数据20%
trainData <- df[ind==1,]
testData <- df[ind==2,]
rf <- randomForest(label ~ .,data=trainData,ntree=50,proximity=TRUE) 70M数据，80%训练数据，大概需要20多G内存，
plot(rf) #树图
importance(rf) #特征重要性
rfPred <- predict(rf,testData) #预测
table(rfPred,testData$label)
prop.table(table(rfPred,testData$label))
就是这样一个简单的流程，都没用到自己写什么优化方案或者建模，测试分类正确率可以达到96%还多，对于新给的test.csv（大概50M测试数据，模型的表现可以达到96%的正确率）。当然，可以选择的算法和优化方案很多，上面写的只是一个探索的流程。其实做一些优化后，准确率可以达到99%。
四.算法尝试之kNN
关于乳腺癌预测的数据
数据探索就简单略过了，数据第一列没什么用，删除wbcd <- wbcd[-1]
第二列是因子（B,M），表示癌症的阴性和阳性
剩余30个特征都是细胞的一些物理特征，算法的目的是通过细胞的特征来判断癌症的阴性和阳性
4.1 数据处理
wbcd <- read.table("wdbc.data",header = FALSE,sep = ",")
wbcd <- wbcd[-1]
因为kNN算法是依据距离来计算的，一般用欧式距离比较易懂。所以这里涉及到数据的转换。
min-max标准化：(x-min(x))/(max(x)-min(x)) #把数值型数据转换到0-1之间，必选数据范围的影响
z-score标准化：(x-mean(x))/StdDev(x)
4.2 数据准备
library(class)
wbcd <- read.table("wdbc.data",header = FALSE,sep = ",")
wbcd <- wbcd[-1]
normalize <- function(x) {
return ((x-min(x))/(max(x)-min(x)))
}
wbcd_n <- as.data.frame(lapply(wbcd[,2:31],normalize))
ind <- sample(2,nrow(wbcd_n),replace = TRUE,prob = c(0.8,0.2))
wbcd_pred <- knn(train.data,test.data,wbcd[ind==1,1],k = 10)
CrossTable(x = wbcd_n[ind==2,1],wbcd_pred,prop.chisq = FALSE)
otal Observations in Table: 117
| wbcd_pred
wbcd[ind == 2, 1] | B | M | Row Total |
------------------|-----------|-----------|-----------|
B | 74 | 0 | 74 |
| 1.000 | 0.000 | 0.632 |
| 0.961 | 0.000 | |
| 0.632 | 0.000 | |
------------------|-----------|-----------|-----------|
M | 3 | 40 | 43 |
| 0.070 | 0.930 | 0.368 |
| 0.039 | 1.000 | |
| 0.026 | 0.342 | |
------------------|-----------|-----------|-----------|
Column Total | 77 | 40 | 117 |
| 0.658 | 0.342 | |
------------------|-----------|-----------|-----------|
还可以通过选择k值，不同的数据标准化，不同的算法，不同的特征来优化准确率。
