R爬虫实践—抓取国自然基金信息【中篇】

R爬虫实践—抓取国自然基金信息【上篇】简单介绍了如何爬取2016-2019年某一关键词下的国自然信息，当需要一次获取多种关键词下的国自然信息时该怎么做？比如咱们需要获取lncRNA、miRNA、circRNA、肠道菌群、外泌体，细胞焦亡等多个关键词的国自然信息。

首先，分析各个关键词下的首页网址特征，如下所示。

#lncRNA:'http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html'
#miRNA: 'http://fund.zsci.com.cn/Index/index/title/miRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html'
#circRNA: "http://fund.zsci.com.cn/Index/index/title/circRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html"
#肠道菌群："http://fund.zsci.com.cn/Index/index/title/%E8%82%A0%E9%81%93%E8%8F%8C%E7%BE%A4/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html"
......

发现由关键词首页网址由以下几部分组成：

[http://fund.zsci.com.cn/Index/index/title/]
[关键词]
[/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html]

接着，分析每个关键词下的网址特征，以lncRNA为例，如下所示。

#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/2.html
#.......
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/lastpage_number.html

发现关键词所有网址由以下几部分组成：

[http://fund.zsci.com.cn/Index/index/title/]+
[关键词]+
[/start_year/2016/end_year/2019/xmid/0/search/1/p/]+
[页码]+
[.html]

然后，根据以上分析出的网页规律，提前构建网页地址的各个部分。

s1 <- c("http://fund.zsci.com.cn/Index/index/title/")
s2 <- c("/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html")
part1 <- c("http://fund.zsci.com.cn/Index/index/title/")
part2 <- c("/start_year/2016/end_year/2019/xmid/0/search/1/p/")
keys <- c("lncRNA","miRNA","circRNA","单细胞","肠道菌群","外泌体","RNA甲基化","细胞焦亡")

正式开始爬取~~~利用两次循环，依次爬取各个关键词下的国自然信息。具体过程：先获取第一个关键词检索首页——获取末页的网址——获取最大页码——依次循环抓取1到最大页码的信息——结束后再进行第二个关键词（同样过程，循环往复）——直到最后一个关键词的最后一页——爬取结束。

results <- data.frame(Title="题目",Author="负责人",Department="申请单位",
                      Type="研究类型",Project="项目批准号",Date="批准年度",Money="金额")

j <- 1
i <- 1

for (j in 1:length(keys)) {
  site <- paste0(s1,keys[j],s2)
  web <- read_html(site,encoding = "utf-8")
  lastpage_link <- web %>% html_nodes("div.layui-box a") %>% html_attr("href")
  lastpage_link <- paste0("http://fund.zsci.com.cn/",lastpage_link[length(lastpage_link)])
  lastpage_web <- read_html(lastpage_link,encoding = "utf-8")
  lastpage_number <-  lastpage_web %>% html_nodes("div.layui-box span.current") %>% html_text() %>% as.integer()
  print(lastpage_number)
  
  for(i in 1:lastpage_number){
    keysite <- paste0(part1,keys[j],part2,i,".html")
    web <- read_html(keysite,encoding = "utf-8")
    #---获得基金标题---
    Title <- web %>% html_nodes('ul a li h3') %>% html_text() # 标题内容解析
    Title
    #---获得众多信息---
    Information <- web %>% html_nodes('ul a li span') %>% html_text()  #获取了负责人和单位信息
    Information
    #---获取负责人信息---
    Author <-  Information[grep("负责人", Information)]
    Author
    #---获得申请单位---
    Department <-  Information[grep("申请单位", Information)]
    Department
    #---获取研究类型---
    jijintype <-  Information[grep("研究类型", Information)]
    jijintype
    #---获得项目号---
    Project <-  Information[grep("项目批准号", Information)]
    Project
    #---获取批准时间---
    Date <-  Information[grep("批准年度", Information)]
    Date
    #---获取基金金额---
    Money <- Information[grep("金额", Information)]
    Money 
    result <- data.frame(Title=Title,Author=Author,Department=Department,
                         Type=jijintype,Project=Project,Date=Date,Money=Money)
    
    results <- data.frame(Title="题目",Author="负责人",Department="申请单位",
                          Type="研究类型",Project="项目批准号",Date="批准年度",Money="金额")
    
    #合并所有页面数据成数据框
    results <- rbind(results,result)
  }
    write.csv(results,file = paste0("2016-2019.",keys[j],".csv"))
}

最终爬取结果如下，每个关键词条件下生成一个文件。

image

往期回顾
R爬虫在工作中的一点妙用
 R爬虫必备基础——HTML和CSS初识
 R爬虫必备基础——静态网页+动态网页
 R爬虫必备——rvest包的使用
 R爬虫必备基础——CSS+SelectorGadget
R爬虫必备基础—Chrome开发者工具(F12)
R爬虫必备基础—HTTP协议
 R爬虫必备—httr+POST请求类爬虫（网易云课堂）
R爬虫必备基础—rvest为什么不用于动态网页？
R爬虫必备——httr+GET请求类爬虫（解螺旋课程）
R爬虫实战—抓取PubMed文章的基本信息
 R爬虫实践—抓取国自然基金信息【上篇】