Go 百度贴吧、捧腹段子并发爬虫

爬虫设计

爬虫设计步骤：

  • 明确目标：要知道在哪个范围或者网站去搜索
  • 爬：将所有的网站的内容全部爬下来
  • 取：去掉对我们没用处的数据
  • 处理数据：按照我们想要的方式存储和使用

百度贴吧爬虫

1、规律分析：

  • 网页规律
https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=0
https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=50
https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=100

2、爬虫 Demo

package main

import (
    "fmt"
    "net/http"
    "strconv"
    "os"
)

// 爬取网页内容
func HttpGet(url string)(result string, err error) {
    resp, err1 := http.Get(url)
    if err1 != nil {
        // print err
        err = err1
        return
    }
    
    defer resp.Body.Close()
    
    // 读取网页 Body 内容
    buf := make([]byte, 1024 * 4)
    for {
        n, err := resp.Body.Read(buf)
        if n == 0 { // 读取结束，或者出问题
            // print err
            break
        }
        
        result += string(buf[:n])
    }
    
    return
}

// 爬取一个网页
func SpidePage(i int, page chan<- int) {
    url = "http://tieba.baidu.com/f?kw=ios&ie=utf-8&pn=0&red_tag=y1558891520&pn=" + strconv.Itoa((i - 1) * 50)
    // print url
    
    // 2) 爬，将所有的网站的内容全部爬下来
    result, err := HttpGet(url) 
    if err != nil {
        // print err
        continue
    }
    
    // 把内容写入到文件
    fileName := strconv.Itoa((i - 1) * 50) + ".html"
    f, err1 := os.Create(fileName)
    if err1 != nil {
        // print err1
        continue
    }
    
    f.WriteString(result) // 写内容
    f.Close() // 关闭文件
    
    page <- i // 写内容
}


func DoWork(start, end int) {
    fmt.Printf("正在爬取 %d 到 %d 的页面\b", start, end)
    
    page := make(chan int)
    
    // 1) 明确目标（要知道你准备在哪个范围或者网站去搜索）
    // https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=0 // 下一页加 50
    for i := start; i < end; i++ {
        go SpidePage(i, page)
    }
    
    for i := start; i < end; i++ {
        // 没爬完之前是阻塞的
        fmt.Printf("第%d个页面爬取完成\n", <-page)
    }
}

func main() {
    var start, end int
    fmt.Printf("请输入起始页(>= 1): ")
    fmt.Scan(&start)
    fmt.Printf("请输入终止页(>= 起始页): ")
    fmt.Scan(&end)
    
    DoWork(start, end)
}

段子爬虫

1、规律分析

  • 网页规律
https://www.pengfu.com/index_1.html
https://www.pengfu.com/index_2.html
https://www.pengfu.com/index_3.html
  • 主页面规律
<h1 class="dp-b"><a href=" 一个段子 URL 连接 "
  • 段子 URL
<h1> 标题 </h1> 只取1个
<div class="content-txt pt10"> 段子内容 <a id="prev" href="

2、爬虫 Demo

package main

import (
    "fmt"
    "net/http"
    "strconv"
    "regexp"
    "strings"
    //"os"
)

func HttpGet(url string)(result string, err error) {
    resp, err1 := http.Get(url)
    if err1 != nil {
        // print err
        err = err1
        return
    }
    
    defer reso.Body.Close()
    
    // 读取网页内容
    buf := make([]byte, 4 * 1024)
    for {
        n, _ := resp.Body.Read(buf)
        if n == 0 {
            break
        }
        
        result += string(buf{:n})
    }
    return
}

func SpiderOneJoy(url string)(title, content string, err error) {
    // 开始爬取网页内容
    result, err1 := HttpGet(url)
    if err1 != nil {
        err = err1
        return
    }
    
    2) 开始爬取页面内容
    result, err := HttpGet(url)
    if err != nil {
        // print err
        return
    }
    fmt.Printf("r = ", result)
    
    // 3）获取关键信息：标题
    // <h1> 段子标题 </h1> 只取1个
    re1 := regexp.MustCompile(`<h1>(?s:(.*?))</h1>`) // 正则表达式以组为单位，?s 表示遇到 \n 的也匹配
    if re1 == nil {
        err = fmt.Errorf("%s", "regex.MustCompile err")
        return
    }
    
    // 取段子标题
    tmpTitle := re.FindAllStringSubmatch(result, 1) // 最后一个参数为 1, 表示只过滤第 1 个
    for _, data := range tmpTitle {
        title = data[1]
        
        // 对tab、制表符、换行、空格特殊处理
        title = strings.Replace(title, "\r", "",-1)
        title = strings.Replace(title, "\n", "",-1)
        title = strings.Replace(title, " ", "",-1)
        title = strings.Replace(title, "\t", "",-1)
        break
    }
    
    // 3）获取关键信息：内容
    // <div class="content-txt pt10"> 段子内容 <a id="prev" href="
    re2 := regexp.MustCompile(`<div class="content-txt pt10">(?s:(.*?))<a id="prev" href=`) // 正则表达式以组为单位，?s 表示遇到 \n 的也匹配
    if re2 == nil {
        err = fmt.Errorf("%s", "regex.MustCompile err")
        return
    }
    
    // 取段子内容
    tmpContent := re.FindAllStringSubmatch(result, -1) // -1 表示过滤全部
    for _, data := range tmpContent {
        content = data[1]
        
        // 对tab、制表符、换行、空格特殊处理
        content = strings.Replace(content, "\r", "",-1)
        content = strings.Replace(content, "\n", "",-1)
        content = strings.Replace(content, " ", "",-1)
        content = strings.Replace(content, "\t", "",-1)
        content = strings.Replace(content, "<br />", "",-1)
        break
    }
    
    return
}

// 把内容写入到文件
func StoreJoyToFile(i int, fileTitle, fileContent []string) {
    // 新建文件
    f, err := os.Create(strconv.IToa(i) + ".txt")
    if err != nil {
        // print err
        return
    }
    
    defer f.Close()
    
    // 写内容
    n := len(fileTitle)
    for i := 0; i < n; i++ {
        // 写标题
        f.WriteString(fileTitle[i] + "\n")
        // 写内容
        f.WriteString(fileContent[i] + "\n")
        
        f.WriteString("\n==============\n")
    }
}

// 爬取主页面
func SpidePage(i int) {
    // 1) 明确爬取的 url
    // url: https://www.pengfu.com/index_1.html
    url := "https://www.pengfu.com/index_" + strconv.IToa(i) + ".html"
    fmt.Printf("正在爬取滴%d个网页:%s", i, url)
    
    // 2) 开始爬取页面内容
    result, err := HttpGet(url)
    if err != nil {
        // print err
        return
    }
    fmt.Printf("r = ", result)
    
    // 3) 取内容，正则匹配
    // <h1 class="dp-b"><a href=" 一个段子 URL 连接 " 
    // 解析表达式，取关键信息
    re := regexp.MustCompile(`<h1 class="dp-b"><a href="(?s:(.*?))"`) // 正则表达式以组为单位，?s 表示遇到 \n 的也匹配
    if re == nil {
        // print err
        return
    }
    
    // 去关键信息: 段子详情页的 URL
    joyUrls := re.FindAllStringSubmatch(result, -1)
    fmt.Println("joyUrl = %s", joyUrls)
    
    fileTitle := make([]string, 0)
    fileContent := make([]string, 0)
    
    // joyUrls：[[<h1 class="dp-b"><a href="https://www.pengfu.com/content_1788974_1.html"https://www.pengfu.com/content_1788974_1.html]
    
    // 获取 joyUrl
    // 切片迭代，第一个返回下标，第二个返回内容
    for _, data := range joyUrls {
        // print url
        // fmt.Println("url = ", data[1])
        // 爬取每一个段子
        title, content, err :=  SpiderOneJoy(data[1])
        if err != nil {
            // print err
            continue
        }
        
        // print title、content
        fileTitle = append(fileTitle, title) // 追加内容
        fileContent = append(fileContent, content) // 追加内容
    }
    
    // print fileTitle、fileContent
    
    // 把内容写入到文件
    StoreJoyToFile(i, fileTitle, fileContent)
}

func DoWork(start, end int) {
    fmt.Printf("正在爬取 %d 到 %d 的页面\b", start, end)
    
    page := make(chan int)
    
    // 1) 明确目标（要知道你准备在哪个范围或者网站去搜索）
    // 
    for i := start; i < end; i++ {
        go SpidePage(i, page)
    }
    
    for i := start; i < end; i++ {
        // 没爬完之前是阻塞的
        fmt.Printf("第%d个页面爬取完成\n", <-page)
    }  
}

func main() {
    var start, end int
    fmt.Printf("请输入起始页(>= 1): ")
    fmt.Scan(&start)
    fmt.Printf("请输入终止页(>= 起始页): ")
    fmt.Scan(&end)
    
    DoWork(start, end)
}
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容