获取初始页面的内容

我们之前说过了，我们先从单任务版开始进行。。。。。
这里我们先给单任务版爬虫定一个小目标

获取并打印所在城市第一页用户的详细信息

stevendeAir:js_crawler steven$ pwd
/Users/steven/learngo/src/learn/js_crawler
stevendeAir:js_crawler steven$ ls
main.go

我们首先给这个项目建一个文件夹，名字为js_crawler,之后建了一个main.go文件

// main.go
package main

import (
    "net/http"
    "io/ioutil"
    "fmt"
)

func main() {
    // 首先我们使用get请求，拿到响应的结果resp
    resp, err := http.Get(
        "http://www.zhenai.com/zhenghun")
    // 对错误的处理，go就是这么处理的不像其他的语言应try
    if err != nil{
        panic(err)
    }
    // 请求完成以后我们需要把这个流关上
    defer resp.Body.Close()
    // 如果请求不是200我们把状态码打出来
    if resp.StatusCode != http.StatusOK{
        fmt.Println("Error: Status code",
            resp.StatusCode)
        return
    }
    // 读取Body里面的内容
    all, err := ioutil.ReadAll(resp.Body)
    if err != nil{
        panic(err)
    }
    fmt.Printf("%s\n", all)
}

first_page.png

很好，我们的页面打印出来了但是我们发现它是乱码，这个是为什么呢？应该怎么办呢？
这是因为Go语言都是utf8编码，但是我们这个网页的是gbk编码所以就出现了乱码，没关系我们解决它。。。。
我们只需要把gbk转成utf8就可以了，这里我们需要下载两个包看下面

stevendeAir:js_crawler steven$ gopm get -g -v golang.org/x/text
[GOPM] 05-27 12:14:41 [ INFO] App Version: 0.8.8.0307 Beta
[GOPM] 05-27 12:14:41 [ INFO] Local repository path: /Users/steven/.gopm/repos
[GOPM] 05-27 12:14:41 [ INFO] Indicated GOPATH: /Users/steven/learngo
[GOPM] 05-27 12:14:41 [ INFO] /Users/steven/.gopm/repos/golang.org/x/text
[GOPM] 05-27 12:14:41 [DEBUG] Skipped installed package: golang.org/x/text@branch:<UTD>
[GOPM] 05-27 12:14:41 [ WARN] Package in GOPATH has version control: golang.org/x/text
[GOPM] 05-27 12:14:41 [ INFO] 0 package(s) downloaded, 0 failed
它说Skipped installed package，这说明我已经安装过了，现在可以直接使用了

我们把之前的resp.Body改成转码以后的就可以了

    utf8Reader := transform.NewReader(
        resp.Body, simplifiedchinese.GBK.NewDecoder())
    
    // 读取Body里面的内容
    all, err := ioutil.ReadAll(utf8Reader)

gbk_solve.png

ok,到此呢我们的问题解决了，但是呢这么做并不通用，因为以后我们可能会有其它的编码也会出现乱码，那么怎么才能通用呢，我们可以去获取网页上面的charset然后转成utf8是不是就可以了呢？其实有时候会有变态的网页连meta也没有我们怎么做呢？其实这里我们用到了Go语言的一个包可以直接获取网页的编码看下面。。。。

stevendeAir:js_crawler steven$ gopm get -g -v golang.org/x/net/html
[GOPM] 05-27 12:23:05 [ INFO] App Version: 0.8.8.0307 Beta
[GOPM] 05-27 12:23:05 [ INFO] Local repository path: /Users/steven/.gopm/repos
[GOPM] 05-27 12:23:05 [ INFO] Indicated GOPATH: /Users/steven/learngo
[GOPM] 05-27 12:23:05 [ INFO] /Users/steven/.gopm/repos/golang.org/x/net
[GOPM] 05-27 12:23:05 [DEBUG] Skipped installed package: golang.org/x/net/html@branch:<UTD>
同样的我也安装好了，直接用一把。。

// 定义一个解析的函数
func determineEncoding(r io.Reader) encoding.Encoding{
        // 我们可以把它放到Peek里面下回继续读
        // 如果我们不用Peek,它读完1024以后就不会在读这1024个字节了
        // Peek 返回缓存的一个切片，该切片引用缓存中前 n 字节数据
        bytes, err := bufio.NewReader(r).Peek(1024)
        if err != nil{
            panic(err)
        }
        e, _, _ := charset.DetermineEncoding(bytes, "")
        return e
}

然后把上面的resp.Body处理一下。。。。

e := determineEncoding(resp.Body)
utf8Reader := transform.NewReader(
    resp.Body, e.NewDecoder())

为了让大家可以清楚的看到我的目录结构，我会在代码的上面放上这段代码所在的文件位置，方便你的查看。比如说上面这段代码在main.go文件里面，在开发的过程中我也会把代码层次结构发给大家，不用担心跟不上。。。。。你真实写代码的时候，上面的main.go就不需要加了！！！！
怎么样这一节看完了，你跟着操作了嘛，成功了嘛！！！！！！

获取初始页面的内容

推荐阅读更多精彩内容