对各字符集编码范围的总结

转载自对各字符集编码范围的总结

最近项目中用到了对文字、标点以及特殊字符的判断。
网上关于GBK、GB2312和BIG5编码范围的资料比较多,但是日文的资料比较少,我总结了一下,希望能对大家在正则中判断
这些字符集尤其是日文字符集的各种字、标点以及特殊符号的时候有所帮助。

UTF8
[/x01-/x7f]|[/xc0-/xdf][/x80-/xbf]|[/xe0-/xef][/x80-/xbf]{2}|[/xf0-/xff][/x80-/xbf]{3}

UTF16
[/x00-/xd7][/xe0-/xff]|[/xd8-/xdf][/x00-/xff]{2}

JIS
[/x20-/x7e]|[/x21-/x5f]|[/x21-/x7e]{2}

SJIS
[/x20-/x7e]|[/xa1-/xdf]|([/x81-/x9f]|[/xe0-/xef])([/x40-/x7e]|[/x80-/xfc])

EUC_JP        
[/x20-/x7e]|/x81[/xa1-/xdf]|[/xa1-/xfe][/xa1-/xfe]|/x8f[/xa1-/xfe]{2}

EUC_JP标点符号及特殊字符        
[/xa1-/xa2][/xa0-/xfe]

EUC_JP全角数字
/xa3[/xb0-/xb9]

EUC_JP全角大写英文
/xa3[/xc1-/xda]

EUC_JP全角小写英文     
/xa3[/xe1-/xfa]

EUC_JP全角平假名
/xa4[/xa1-/xf3]

EUC_JP全角片假名 [color=Red]2007-03-12 15:00更新[/color]
/xa3[/xb0-/xb9]|/xa3[/xc1-/xda]|/xa5[/xa1-/xf6][/xa3][/xb0-/xfa]|[/xa1][/xbc-/xbe]|[/xa1][/xdd]

EUC_JP全角汉字 [color=Red]2007-03-12 15:06更新[/color]
[/xb0-/xcf][/xa0-/xd3]|[/xd0-/xf4][/xa0-/xfe]|[/xB0-/xF3][/xA1-/xFE]|[/xF4][/xA1-/xA6]|[/xA4][/xA1-/xF3]|[/xA5][/xA1-/xF6]|[/xA1][/xBC-/xBE]

Big5
[/x01-/x7f]|[/x81-/xfe]([/x40-/x7e]|[/xa1-/xfe])

GBK
[/x01-/x7f]|[/x81-/xfe][/x40-/xfe]

GB2312汉字
[/xb0-/xf7][/xa0-/xfe]

GB2312半角标点符号及特殊符号
/xa1[/xa2-/xfe]

GB2312罗马数组及项目序号
/xa2([/xa1-/xaa]|[/xb1-/xbf]|[/xc0-/xdf]|[/xe0-/xe2]|[/xe5-/xee]|[/xf1-/xfc])

GB2312全角标点及全角字母
/xa3[/xa1-/xfe]

GB2312日文平假名
/xa4[/xa1-/xf3]

GB2312日文片假名
/xa5[/xa1-/xf6]


補充: 
GB18030
[/x00-/x7f]|[/x81-/xfe][/x40-/xfe]|[/x81-/xfe][/x30-/x39][/x81-/xfe][/x30-/x39]


[color=Red]2007-03-12 21:35 补充[/color] 
日文半角空格
/x20

SJIS全角空格
(?:/x81/x81)

SJIS全角数字
(?:/x82[/x4f-/x58])

SJIS全角大写英文
(?:/x82[/x60-/x79])

SJIS全角小写英文
(?:/x82[/x81-/x9a])

SJIS全角平假名
(?:/x82[/x9f-/xf1])

SJIS全角平假名扩展
(?:/x82[/x9f-/xf1]|/x81[/x4a/x4b/x54/x55])

SJIS全角片假名
(?:/x83[/x40-/x96])

SJIS全角片假名扩展
(?:/x83[/x40-/x96]|/x81[/x45/x5b/x52/x53])

EUC_JP全角空格
(?:/xa1/xa1)

EUC半角片假名
(?:/x8e[/xa6-/xdf])
补充:
日文半角空格 
SJIS全角空格 
SJIS全角数字 
SJIS全角大写英文 
SJIS全角小写英文 
SJIS全角平假名 
SJIS全角平假名扩展 
SJIS全角片假名 
SJIS全角片假名扩展 
EUC_JP全角空格 
EUC半角片假名
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,172评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,346评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,788评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,299评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,409评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,467评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,476评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,262评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,699评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,994评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,167评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,499评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,149评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,387评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,028评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,055评论 2 352

推荐阅读更多精彩内容