爬虫设计
爬虫设计步骤：
- 明确目标：要知道在哪个范围或者网站去搜索
- 爬：将所有的网站的内容全部爬下来
- 取：去掉对我们没用处的数据
- 处理数据：按照我们想要的方式存储和使用
百度贴吧爬虫
1、规律分析：
- 网页规律
https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=0
https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=50
https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=100
2、爬虫 Demo
package main
import (
"fmt"
"net/http"
"strconv"
"os"
)
// 爬取网页内容
func HttpGet(url string)(result string, err error) {
resp, err1 := http.Get(url)
if err1 != nil {
// print err
err = err1
return
}
defer resp.Body.Close()
// 读取网页 Body 内容
buf := make([]byte, 1024 * 4)
for {
n, err := resp.Body.Read(buf)
if n == 0 { // 读取结束，或者出问题
// print err
break
}
result += string(buf[:n])
}
return
}
// 爬取一个网页
func SpidePage(i int, page chan<- int) {
url = "http://tieba.baidu.com/f?kw=ios&ie=utf-8&pn=0&red_tag=y1558891520&pn=" + strconv.Itoa((i - 1) * 50)
// print url
// 2) 爬，将所有的网站的内容全部爬下来
result, err := HttpGet(url)
if err != nil {
// print err
continue
}
// 把内容写入到文件
fileName := strconv.Itoa((i - 1) * 50) + ".html"
f, err1 := os.Create(fileName)
if err1 != nil {
// print err1
continue
}
f.WriteString(result) // 写内容
f.Close() // 关闭文件
page <- i // 写内容
}
func DoWork(start, end int) {
fmt.Printf("正在爬取 %d 到 %d 的页面\b", start, end)
page := make(chan int)
// 1) 明确目标（要知道你准备在哪个范围或者网站去搜索）
// https://tieba.baidu.com/f?kw=绝地求生&ie=utf-8&pn=0 // 下一页加 50
for i := start; i < end; i++ {
go SpidePage(i, page)
}
for i := start; i < end; i++ {
// 没爬完之前是阻塞的
fmt.Printf("第%d个页面爬取完成\n", <-page)
}
}
func main() {
var start, end int
fmt.Printf("请输入起始页(>= 1): ")
fmt.Scan(&start)
fmt.Printf("请输入终止页(>= 起始页): ")
fmt.Scan(&end)
DoWork(start, end)
}
段子爬虫
1、规律分析
- 网页规律
https://www.pengfu.com/index_1.html
https://www.pengfu.com/index_2.html
https://www.pengfu.com/index_3.html
- 主页面规律
<h1 class="dp-b"><a href=" 一个段子 URL 连接 "
- 段子 URL
<h1> 标题 </h1> 只取1个
<div class="content-txt pt10"> 段子内容 <a id="prev" href="
2、爬虫 Demo
package main
import (
"fmt"
"net/http"
"strconv"
"regexp"
"strings"
//"os"
)
func HttpGet(url string)(result string, err error) {
resp, err1 := http.Get(url)
if err1 != nil {
// print err
err = err1
return
}
defer reso.Body.Close()
// 读取网页内容
buf := make([]byte, 4 * 1024)
for {
n, _ := resp.Body.Read(buf)
if n == 0 {
break
}
result += string(buf{:n})
}
return
}
func SpiderOneJoy(url string)(title, content string, err error) {
// 开始爬取网页内容
result, err1 := HttpGet(url)
if err1 != nil {
err = err1
return
}
2) 开始爬取页面内容
result, err := HttpGet(url)
if err != nil {
// print err
return
}
fmt.Printf("r = ", result)
// 3）获取关键信息：标题
// <h1> 段子标题 </h1> 只取1个
re1 := regexp.MustCompile(`<h1>(?s:(.*?))</h1>`) // 正则表达式以组为单位，?s 表示遇到 \n 的也匹配
if re1 == nil {
err = fmt.Errorf("%s", "regex.MustCompile err")
return
}
// 取段子标题
tmpTitle := re.FindAllStringSubmatch(result, 1) // 最后一个参数为 1, 表示只过滤第 1 个
for _, data := range tmpTitle {
title = data[1]
// 对tab、制表符、换行、空格特殊处理
title = strings.Replace(title, "\r", "",-1)
title = strings.Replace(title, "\n", "",-1)
title = strings.Replace(title, " ", "",-1)
title = strings.Replace(title, "\t", "",-1)
break
}
// 3）获取关键信息：内容
// <div class="content-txt pt10"> 段子内容 <a id="prev" href="
re2 := regexp.MustCompile(`<div class="content-txt pt10">(?s:(.*?))<a id="prev" href=`) // 正则表达式以组为单位，?s 表示遇到 \n 的也匹配
if re2 == nil {
err = fmt.Errorf("%s", "regex.MustCompile err")
return
}
// 取段子内容
tmpContent := re.FindAllStringSubmatch(result, -1) // -1 表示过滤全部
for _, data := range tmpContent {
content = data[1]
// 对tab、制表符、换行、空格特殊处理
content = strings.Replace(content, "\r", "",-1)
content = strings.Replace(content, "\n", "",-1)
content = strings.Replace(content, " ", "",-1)
content = strings.Replace(content, "\t", "",-1)
content = strings.Replace(content, "<br />", "",-1)
break
}
return
}
// 把内容写入到文件
func StoreJoyToFile(i int, fileTitle, fileContent []string) {
// 新建文件
f, err := os.Create(strconv.IToa(i) + ".txt")
if err != nil {
// print err
return
}
defer f.Close()
// 写内容
n := len(fileTitle)
for i := 0; i < n; i++ {
// 写标题
f.WriteString(fileTitle[i] + "\n")
// 写内容
f.WriteString(fileContent[i] + "\n")
f.WriteString("\n==============\n")
}
}
// 爬取主页面
func SpidePage(i int) {
// 1) 明确爬取的 url
// url: https://www.pengfu.com/index_1.html
url := "https://www.pengfu.com/index_" + strconv.IToa(i) + ".html"
fmt.Printf("正在爬取滴%d个网页:%s", i, url)
// 2) 开始爬取页面内容
result, err := HttpGet(url)
if err != nil {
// print err
return
}
fmt.Printf("r = ", result)
// 3) 取内容，正则匹配
// <h1 class="dp-b"><a href=" 一个段子 URL 连接 "
// 解析表达式，取关键信息
re := regexp.MustCompile(`<h1 class="dp-b"><a href="(?s:(.*?))"`) // 正则表达式以组为单位，?s 表示遇到 \n 的也匹配
if re == nil {
// print err
return
}
// 去关键信息: 段子详情页的 URL
joyUrls := re.FindAllStringSubmatch(result, -1)
fmt.Println("joyUrl = %s", joyUrls)
fileTitle := make([]string, 0)
fileContent := make([]string, 0)
// joyUrls：[[<h1 class="dp-b"><a href="https://www.pengfu.com/content_1788974_1.html"https://www.pengfu.com/content_1788974_1.html]
// 获取 joyUrl
// 切片迭代，第一个返回下标，第二个返回内容
for _, data := range joyUrls {
// print url
// fmt.Println("url = ", data[1])
// 爬取每一个段子
title, content, err := SpiderOneJoy(data[1])
if err != nil {
// print err
continue
}
// print title、content
fileTitle = append(fileTitle, title) // 追加内容
fileContent = append(fileContent, content) // 追加内容
}
// print fileTitle、fileContent
// 把内容写入到文件
StoreJoyToFile(i, fileTitle, fileContent)
}
func DoWork(start, end int) {
fmt.Printf("正在爬取 %d 到 %d 的页面\b", start, end)
page := make(chan int)
// 1) 明确目标（要知道你准备在哪个范围或者网站去搜索）
//
for i := start; i < end; i++ {
go SpidePage(i, page)
}
for i := start; i < end; i++ {
// 没爬完之前是阻塞的
fmt.Printf("第%d个页面爬取完成\n", <-page)
}
}
func main() {
var start, end int
fmt.Printf("请输入起始页(>= 1): ")
fmt.Scan(&start)
fmt.Printf("请输入终止页(>= 起始页): ")
fmt.Scan(&end)
DoWork(start, end)
}
