Linux下查看txt文件出现乱码

今天把Windows上的文件传到Linux上,通过cat打开后,出现乱码,如下图

出现乱码的原因是由于两个操作系统对中文的压缩方式不同,Linux下使用的是utf8,而Windows使用的是.gbbk,因此Windows下正常显示的文件再Linux中打开出现乱码。

解决方法一:

在Linux终端输入:   iconv -f gbk -t utf8 PythonStudy.txt > Python.txt.utf8

在当前目录下就生成了一个.utf8格式的文件,打开该文件,正常显示,如下图

解决方法二:

切换至root用户,用vim打开vimrc文件   

vim /etc/vimrc

在文件的末尾加入以下内容:

set fileencodings=utf-8,gb2312,gbk,gb18030

set termencoding=utf-8

set fileformats=unix

set encoding=prc

保存退出,再使用vim打开就可以识别gb2312的中文文件

但是使用cat等打开仍然乱码

解决方法三:

用记事本打开文件,点击另存为,在下方的编码方式中选择utf-8方式


那么多种编码格式,有些理不清,那就再来看看字符编码方式的发展历程吧

字符编码发展史

1、最开始,计算机由8个晶体管表示状态,可表示的范围为0 - 256,称其为“字节”

2、计算机诞生于美国,他们把编号从0开始的32种状态分别规定了特殊的用途,称为“控制码”,如00×10, 换行;把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示,一直编到了第127号,这样就能用不同的字节来存储英语的文字了。大家把这套方案叫做Ascii编码

3、计算机迅速的发展,世界各地开始使用计算机,但是很多国家不是用的英文,他们的字母很多是ASCII码中没有的,因此用127后面的空位来表示这些新的字母,符号等,从128到255这一页的字符集被称”扩展字符集”

4、中国人得到计算机时,已经没有可以利用的字节状态来表示汉字,于是中国人毫不客气的把127后面的奇异符号直接取消,并规定:一个小于127的字符的意义与原来相同,但两个大于127的字符连在一起时,就表示一个汉字,前面的一个字节(他称之为高字节)从0xA1用到 0xF7,后面一个字节(低字节)从0xA1到0xFE,这样我们就可以组合出大约7000多个简体汉字了。在这些编码里,我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了,连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码,这就是常说的”全角”字符,而原来在127号以下的那些就叫”半角”字符了。

中国人民把这种汉字方案叫做 “GB2312″。GB2312 是对 ASCII 的中文扩展。

5、中国的汉字太多了,还是有很多人的名字没办法打出来,于是干脆不再要求低字节一定是127号之后的内码,只要第一个字节是大于127就固定表示这是一个汉字的开始,不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准,GBK 包括了 GB2312 的所有内容,同时又增加了近20000个新的汉字(包括繁体字)和符号

6、少数名族也开始用电脑了,于是再扩展,又加了几千个新的少数民族的字,GBK 扩成了GB18030

7、各个国家都像中国这样搞出一套自己的编码标准,结果互相之间谁也不懂谁的编码,谁也不支持别人的编码。这时候,ISO(国际标准化组织)开始着手解决这个问题。他们的方法很简单:废了所有的地区性编码方案,重新搞一个包括了地球上所有文化、所有字母和符号的编码!即UNICODE。UNICODE 包持其原编码不变,只是将其长度由原来的8位扩展为16位,而其他文化和语言的字符则全部重新统一编码。

8、由于”半角”英文符号只需要用到低8位,所以其高 8位永远是0,因此这种大气的方案在保存英文文本时会多浪费一倍的空间。为了解决这个问题,UTF-8出现了,这是一种针对Unicode的可变长度字符编码。UTF-8的编码规则很简单,只有二条:

a、对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的;

b、对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。

因此大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作,utf-8被普遍使用



参考:

blog.chinaunix.net/uid-27177626-id-3496705.html

blog.csdn.net/wwwdongzi/article/details/17002839

blog.chinaunix.net/uid-26790551-id-3203316.html

www.zhihu.com/question/23374078/answer/134244691

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容

  • 可以看我的博客 lmwen.top 或者订阅我的公众号 简介有稍微接触python的人就会知道,python中...
    ayuLiao阅读 3,097评论 1 5
  • 虽然不是第一个马拉松,但明天开始的这个半程比赛仍然是目前为止最期待也最紧张的一个。因为她将是我所经历的第一个越野跑...
    白大炮阅读 369评论 0 0
  • 人生若只如初见 只是,美好终究有限 不同的选择会造就不同的人生 未曾谋面 却毫不犹豫跟着他走 她和他 在最美好的时...
    读书少的丝瓜阅读 493评论 0 3
  • 我不是一个喜欢看电影,更很少去电影院的一个人,但当我即将离开这座城市的时候,我今天第一次一个人去了电影院,看的是体...
    川上的日子阅读 478评论 18 4
  • 生辰三十二载,而立有瑕,疵两点。 己者,可为敢为一丝执念而心存来生者,如若更律己以宽人之便,终必善恶琳琅。 家人,...
    德知我姓阅读 194评论 1 5