一.首先我们需要下载两个包:"golang.org/x/text" ”golang.org/x/net/html",前者用来对HTML进行转码,而后者则是猜测出当前获取的HTML是哪一种编码,辅助前者完成转码。
本次Demo使用到的包:
import (
"fmt"
"net/http"
"io/ioutil"
"golang.org/x/text/transform"
"io"
"golang.org/x/text/encoding"
"bufio"
"golang.org/x/net/html/charset"
)
二.main函数:
func main(){
resp,err := http.Get("http://www.zhenai.com/zhenghun") //获取页面返回的response
if err != nil{
panic(err)
}
defer resp.Body.Close() //记得每次都要关闭response的body哦
if resp.StatusCode != http.StatusOK{
fmt.Printf("Wrong status code :%d",resp.StatusCode)
return
}
utf8Reader := transform.NewReader(resp.Body,Determineencoding(resp.Body).NewDecoder())
//将其他编码的reader转换为常用的utf8reader
all,err := ioutil.ReadAll(utf8Reader)
if err != nil{
panic(err)
}
fmt.Printf("%s",all)
}
三.Determineencoding函数:用来猜测HTML代码的编码格式,如gbk、utf8。
func Determineencoding(r io.Reader) encoding.Encoding {
bytes,err := bufio.NewReader(r).Peek(1024)
if err !=nil {
panic(err)
}
e,_,_ := charset.DetermineEncoding(bytes,"")
return e
}
详情见Determineencoding函数的介绍,它是根据reader的前1024个字节来猜测编码格式的。