package main
import (
"bufio"
"fmt"
"golang.org/x/net/html/charset"
"golang.org/x/text/transform"
"io"
"io/ioutil"
"net/http"
)
func DetermineEncoding(r io.Reader) []byte {
OldReader := bufio.NewReader(r)
bytes, err := OldReader.Peek(1024)
if err != nil {
panic(err)
}
e, _, _ := charset.DetermineEncoding(bytes, "")
reader := transform.NewReader(OldReader, e.NewDecoder())
all, err := ioutil.ReadAll(reader)
if err != nil {
panic(err)
}
return all
}
func main() {
resp, err := http.Get(`http://www.chinanews.com`)
if err != nil {
panic(err)
}
defer resp.Body.Close()
fmt.Printf(`%s`, DetermineEncoding(resp.Body))
}
golang学习笔记之-采集gbk乱码的问题?
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
