- 初识正态分布
library(ggplot2)
#模拟生成一个正态分布，表示均值为7000，标准差为2000，数目为10000的男性毕业生收入
data1 <- rnorm(10000,mean = 7000, sd = 2000)#这样生成的是向量
data1 <- as.data.frame(data1)
data1 <- data.frame(income=data1$data1,gender="male")
ggplot(data1,aes(income))+geom_histogram()#做出来是频数分布图
ggplot(data1,aes(income))+geom_histogram(stat = "density")#income的各个分布所占的比例
#模拟生成一个正态分布，表示均值为5000，标准差为2000，数目为10000的女性毕业生收入
data2 <- rnorm(10000,mean = 5000, sd = 2000)
data2 <- as.data.frame(data2)
data2 <- data.frame(income=data2$data2,gender="female")
#将男性数据和女性数据组合起来
data <- rbind(data1,data2)
#均值μ决定了正态曲线的中心位置，当标准差σ不变时，μ越大，图形越往右移动
#标准差σ决定了图形的陡峭程度，标准差越大，说明数据的离散程度越大，数据越分散，曲线就会越扁平；
ggplot(data,aes(income))+geom_histogram()+facet_grid(gender~.)
combined_data
- 检验正态分布的三种方法
- qq图
qqnorm(data1$income)
qqline(data1$income,col="darkred") #通过col添加正态分布的标准线，离标准线越近，则数据越符合正态分布
qqline
2.夏皮罗检验（shapiro.test）
当w接近1，p > 0.05时，说明数据符合正态分布，这个检验只适合于3-5000个数据，样本数量不在这个范围内的话，会报错
shapiro.test(sample(data$income,5000))
Shapiro-Wilk normality test
data: sample(data$income, 5000)
W = 0.99959, p-value = 0.394
## 可以通过for循环，进行多次抽样，减少抽样误差
save_data <- c()#新建一个空白向量
for (i in 1:100){#这里的i指的是抽样次数
sample_data <- shapiro.test(sample(data$income,5000))#将每次抽样的计算结果赋值给sample_data
save_data <- append(save_data, sample_data[["p.value"]])#append函数是将元素存放在向量里，这里的意思是说将每次抽样得到的检验结果中的p.value存放在向量save_data里面，另外这里不用p-value而是p.value是根据names(shapiro.test(sample(data$income,5000)))来确定的;
}
length(save_data[save_data<0.05])#输出save_data < 0.05的个数，即100次抽样中，p < 0.05的次数
[1] 6
- KS检验
D接近0，且p > 0.05时，说明数据符合正态分布
ks.test(
data$income,
rnorm(10000,mean = mean(data$income), sd = sd(data$income)))
Two-sample Kolmogorov-Smirnov test#以data的平均值为平均值，以data的方差为方差模拟一个新的正态分布数据，和data做比较，看data符合不符合正态分布。
data: data$income and rnorm(10000, mean = mean(data$income), sd = sd(data$income))
D = 0.0075, p-value = 0.8475
alternative hypothesis: two-sided
三种判断方法的优缺点
补充从b站麦子那里学到的另外三种判断是不是正态分布的可视化方法
library(ggpubr)
data("ToothGrowth")
#1.ggdensity
ggdensity(ToothGrowth,x='len',color = 'supp', fill = 'supp',palette = c('grey','dark green'),
rug = T,add = 'median') #rug显示具体数值，add在平均值上添加竖线
#2.gghistogram
gghistogram(ToothGrowth,x='len',color = 'supp', fill = 'supp',palette = c('grey','dark green'),
rug = T,add = 'median', bins = 15) #bin是以多少数值分割x轴
#3.qq图
ggqqplot(ToothGrowth,x = 'len',color = 'supp')
ggdensity
gghistogram
qq图
判断完数据如果符合正态分布，还需要比较方差，进而确定用什么方法进行t检验。
正态分布的四个函数
-
关于正态分布的4个函数及其应用
由已知的正态分布中体来分析个体
已知某大学男性毕业生收入的均值为7000，标准差为2000，求：
#1、若甲同学的收入大于80%的人，那么他的收入是多少哪？（由概率求值问题）
qnorm(0.8, mean = 7000, sd = 2000)
[1] 8683.242
#2、一同学的收入为8500左右的概率是多少？（点概率问题）
dnorm(8500, mean = 7000, sd=2000)
[1] 0.0001505687
#3、已知丙同学的收入为9000，他的收入会比百分之多少的人高？（区间概率问题）
pnorm(9000, mean = 7000, sd = 2000)
[1] 0.8413447
-
标准正态分布
标准正态分布
标准正态分布的概率密度函数
标准正态分布的概率密度函数中F(x)代表的是正态分布中数值<x的概率
标准正态分布函数数值表
-
一般正态分布转换成标准正态分布
若随机变量X～N(μ， σ)，则有Z=(X-μ)/σ ～ N(0,1)
zdata1 <- (data1$income-mean(data1$income))/sd(data1$income)
ggplot(data=NULL, aes(zdata1))+geom_histogram()#转换后的zdata1是向量，而不是数据框，所以可以用data=NULL，如果是数据框data.frame，那么就不能这么写了
标准化后的正态分布
案例1
案例1中的做法是先把数据标准化，然后查表进行计算，也可以通过R进行计算
> pnorm(180, mean = 175, sd = 5)
[1] 0.8413447
-
抽样分布
抽样分布
-中心极限定理
中心极限定理
> #1.当总体分布服从正态分布时，任意一个样本，无论样本容量多大，样本均值都服从正态分布
> #每次抽样的样本容量
> n <- 30
>
> #统计量的统计函数
> f <- mean
>
> #抽样次数
> times <- 1000
>
> #保存抽样后的统计量，这里指的是均值
> c_data <- c()
>
> for (i in 1:times){
+ sampledata <- sample(data$income, n)
+ c_data <- append(c_data, f(sampledata))
+ }
> #绘出统计量的分布图形
> ggplot(data=NULL,aes(c_data))+geom_histogram()
`stat_bin()` using `bins = 30`. Pick better value with `binwidth`.
>
> shapiro.test(c_data)
Shapiro-Wilk normality test
data: c_data
W = 0.99645, p-value = 0.02314
histogram
