我们之前说过了，我们先从单任务版开始进行。。。。。
这里我们先给单任务版爬虫定一个小目标
- 获取并打印所在城市第一页用户的详细信息
stevendeAir:js_crawler steven$ pwd
/Users/steven/learngo/src/learn/js_crawler
stevendeAir:js_crawler steven$ ls
main.go
我们首先给这个项目建一个文件夹，名字为js_crawler,之后建了一个main.go文件
// main.go
package main
import (
"net/http"
"io/ioutil"
"fmt"
)
func main() {
// 首先我们使用get请求，拿到响应的结果resp
resp, err := http.Get(
"http://www.zhenai.com/zhenghun")
// 对错误的处理，go就是这么处理的不像其他的语言应try
if err != nil{
panic(err)
}
// 请求完成以后我们需要把这个流关上
defer resp.Body.Close()
// 如果请求不是200我们把状态码打出来
if resp.StatusCode != http.StatusOK{
fmt.Println("Error: Status code",
resp.StatusCode)
return
}
// 读取Body里面的内容
all, err := ioutil.ReadAll(resp.Body)
if err != nil{
panic(err)
}
fmt.Printf("%s\n", all)
}
first_page.png
很好，我们的页面打印出来了但是我们发现它是乱码，这个是为什么呢？应该怎么办呢？
这是因为Go语言都是utf8编码，但是我们这个网页的是gbk编码所以就出现了乱码，没关系我们解决它。。。。
我们只需要把gbk转成utf8就可以了，这里我们需要下载两个包看下面
stevendeAir:js_crawler steven$ gopm get -g -v golang.org/x/text
[GOPM] 05-27 12:14:41 [ INFO] App Version: 0.8.8.0307 Beta
[GOPM] 05-27 12:14:41 [ INFO] Local repository path: /Users/steven/.gopm/repos
[GOPM] 05-27 12:14:41 [ INFO] Indicated GOPATH: /Users/steven/learngo
[GOPM] 05-27 12:14:41 [ INFO] /Users/steven/.gopm/repos/golang.org/x/text
[GOPM] 05-27 12:14:41 [DEBUG] Skipped installed package: golang.org/x/text@branch:<UTD>
[GOPM] 05-27 12:14:41 [ WARN] Package in GOPATH has version control: golang.org/x/text
[GOPM] 05-27 12:14:41 [ INFO] 0 package(s) downloaded, 0 failed
它说Skipped installed package，这说明我已经安装过了，现在可以直接使用了
我们把之前的resp.Body改成转码以后的就可以了
utf8Reader := transform.NewReader(
resp.Body, simplifiedchinese.GBK.NewDecoder())
// 读取Body里面的内容
all, err := ioutil.ReadAll(utf8Reader)
gbk_solve.png
ok,到此呢我们的问题解决了，但是呢这么做并不通用，因为以后我们可能会有其它的编码也会出现乱码，那么怎么才能通用呢，我们可以去获取网页上面的charset然后转成utf8是不是就可以了呢？其实有时候会有变态的网页连meta也没有我们怎么做呢？其实这里我们用到了Go语言的一个包可以直接获取网页的编码看下面。。。。
stevendeAir:js_crawler steven$ gopm get -g -v golang.org/x/net/html
[GOPM] 05-27 12:23:05 [ INFO] App Version: 0.8.8.0307 Beta
[GOPM] 05-27 12:23:05 [ INFO] Local repository path: /Users/steven/.gopm/repos
[GOPM] 05-27 12:23:05 [ INFO] Indicated GOPATH: /Users/steven/learngo
[GOPM] 05-27 12:23:05 [ INFO] /Users/steven/.gopm/repos/golang.org/x/net
[GOPM] 05-27 12:23:05 [DEBUG] Skipped installed package: golang.org/x/net/html@branch:<UTD>
同样的我也安装好了，直接用一把。。
// 定义一个解析的函数
func determineEncoding(r io.Reader) encoding.Encoding{
// 我们可以把它放到Peek里面下回继续读
// 如果我们不用Peek,它读完1024以后就不会在读这1024个字节了
// Peek 返回缓存的一个切片，该切片引用缓存中前 n 字节数据
bytes, err := bufio.NewReader(r).Peek(1024)
if err != nil{
panic(err)
}
e, _, _ := charset.DetermineEncoding(bytes, "")
return e
}
然后把上面的resp.Body处理一下。。。。
e := determineEncoding(resp.Body)
utf8Reader := transform.NewReader(
resp.Body, e.NewDecoder())
为了让大家可以清楚的看到我的目录结构，我会在代码的上面放上这段代码所在的文件位置，方便你的查看。比如说上面这段代码在main.go文件里面，在开发的过程中我也会把代码层次结构发给大家，不用担心跟不上。。。。。你真实写代码的时候，上面的main.go就不需要加了！！！！
怎么样这一节看完了，你跟着操作了嘛，成功了嘛！！！！！！
