字体设计的基础知识

本篇文章将介绍一些关于字体的基础知识主要会介绍一些常见术语的含义还有英文、中文字体常见的分类方式另外简单介绍一下各平台下字体渲染的相关的问题还有标点使用和排版规范。

术语

字形和字体

不得不说 Font 与 Typeface 即是在英文中也有很多混用的地方很难分清也常常被混用现在通常被翻译为“字体”的 Font 在传统印刷界是指特定尺寸、特定字重、字偶间距等信息 的一种 Typeface比如 “尺寸14pt字重为Bold的Helvetica ” 就是一个 Font而这里的Helvetica 就是它的Typeface 。不过现在 Font 的所指定的通常不再包括尺寸了因为与铸模的时代不同了数字字体尺寸可以很轻易的改变。

Typeface 的另一个称呼是Font family字族这个词实际上比Typeface 更好理解且不容易混淆能很明显的表达出 Font 是 Font family 的子集的意思所以在 HTML & CSS 的标准中使用的是Font family字族。简单来说 “Helvetica” 是一个Typeface 而指定具体的字重 “Helvetica Bold” 这就是Font 了。

还有一个概念是Glyph 它表示的是字的某种写法或者说字体的“骨骼”比如字母 a 和ɑ就是Glyph 不同涙 – 泪、強 – 强也是Glyph 的不同。

而 Font 、Typeface 和Glyph 在中文里的翻译就乱七八糟了按照国家标准GB/T 16964应该是

然而在实际使用上字体和字型混乱不堪常常把Font 称为字体而字型和字形更是常常搞反。而常用民间称法的是把Font 称为字体 不用Typeface 而是使用Font family即字体族再把 Glyph 称为字形或字型。这种称法实际上比标准翻译更加流行。

罗马体与意大利体

Roman 指的就是衬线体这个称呼是因为衬线的起源于罗马时期的碑刻。由于通常都把衬线体作为正文字体所以很多场合下Roman 就变成了正文字体的代名词。

而Italic意大利体最早是指意大利使用的一种手写体而后来Italic 意大利体常被用作斜体与正文的罗马体搭配成为了斜体的代名词。另外一种斜体的称呼是 Oblique 单斜体、仿斜体也被称为Slanted这通常是指直接把正文字体做倾斜处理产生的斜体而Italic 意大利体 则是特别设计的与正文相差较大的斜体。

Roman 罗马

同一字体Adobe Garamond的 Italic意大利斜体与 Oblique单斜体

字体结构

字间距、字偶间距与等宽字体

字间距Spacing顾名思义是字符间的距离在实现上就是字符图形外边界框的尺寸和字符在方框中的位置。

字间距 -《西文字体》

字偶间距Kerning也被称为字距调整是在字间距的基础上为实现不同字偶一对字符可以有不同字间距的调整值。不同的字母有不同的外形所以字体只有同样的字间距是不协调的比如“AH”间是标准的字间距而“AV” 由于 V 和 A 的形状其位置可以重叠所以需要负字偶间距才能达到协调的外观。字间距和字偶间距都是一个字体的组成部分并且字偶间距需要为很多字偶准备。

一套字体中的多个字偶 -《西文字体》

另外有字距的概念就是等宽字体Monospaced与比例字体Proportional了比例字体就是上面说的按字符外形设置有不同字距的字体这种字体外形协调可读性好。而等宽字体Monospaced是每个字字间距都相同的字体其优点是可以很好的控制排版对齐因此目前编程的代码编辑器通常都会使用等宽字体Monospaced最为显示字体。

字重与宽度

字重的划分根据不同字体厂商各有不同不同的字重称呼也可以不一样常见的划分如下

另外还有窄字体Condensed、宽体Expanded、斜体Italic、Slanted通常指仿斜体。

连字

连字Typographic ligature也被称为合字源于手写时的连笔如“fi”的 i 上一点常与 f 的一钩合并。传统英文印刷常会使用连字而1970 年代照相排版流行之后就很少使用连字了而且由于显示屏的分辨率有限是否连字差别不大所以现在不是很流行使用连字。

连字的实现方式有两种一是字体的PostScript 连字功能这需要排版或显示软件支持另外是使用合字字符如

字面率、中宫、重心

字面率、字面、中宫、重心是常见描述中文字体外观特点的属性。字面是相对于字体的外框而言字体实际尺寸的范围同样字号下不同字体字面大的实际尺寸会更大。

字面率是字面与外框内尺寸的比值一般简体中文字体有 92 % 左右的字面率日文字体汉字通常字面率要高一些94 %左右相对而言日文字体汉字更追求平均和较大的字面率。

中宫是汉字主要结构的大小类似于英文字体的 x 高度。中宫大小可以用来评判字体的松紧程度中宫分横向和纵向不过通常看横向的中宫尺寸就够了。

重心是字体另一个主要的外观属性是字体的视觉中心点一般字体重心是位于中上部分。

英文字体

字体分类

英文字体的分类方法有许多种不同的分类法侧重点不同这里介绍常见的传统分类法“Vox-ATypl 分类法” 和数字字体时代具有代表性的typekit 网站的字体分类方法还有按年代划分主要参考《西文字体》字体的方法。

typekit 分类法

Sans-Serif 无衬线

Serif 衬线

Sleb-Serif 粗衬线体

Script 书法体

Blackletter 哥特黑体

Monospace 等宽字体

Hand 手写体

Vox-ATypl 分类法

Classicals 古典

古典字体分为人文主义体 Humanist加拉德体Garalde和过渡体Transitional他们的特征是有着类似三角形的衬线

可以看到人文主义的字体 x 高度明显小大写字母比小写字母高许多。

Humanist 人文主义字体

[图片来源]

人文主义字体是文艺复兴时期的兴起的字体流行于当时文艺复兴的中心意大利所以也被成为威尼斯式 (Venetian) 字体。

人文主义字体以当时作家的手写字体为参照所以保留有很多手写的特征比如倾斜的 e、c、o。还有较小的 x 高度。

e、c、o 的轴线倾斜

笔画粗细差别不大

x 高度较小

代表字体有Centaur、Cloister old style

Garalde 加拉德体

[图片来源]

加拉德体的名字Garalde是来源于 2 个设计师Claude Garamont 和Alde Manuce。这种字体也被称为“古风体”或“旧风格”字体。

这是一种比较中庸的字体其去掉了很多手写特征e 的轴线完全垂直了o 和 c 的倾斜也很小x 高度也较高字体的比例较均衡所以很适合作为正文排版使用。

e 轴线完全垂直o、c 轴线略微倾斜

笔画粗细差别不大

x 高度较大

代表字体有Garamond、Bembo

Transitional 过渡期体

[图片来源]

过渡时期是指法国大革命、美国独立的 18 世纪启蒙时代(Age of the Enlightenment)这种字体也被称为新古典主义字体Neoclassical。

这种字体的几乎完全抛弃了手写特征衬线几何化为十分规则的曲线。而且其笔画粗细相差极大细处特别细粗处特别粗这让它并不很适合作为正文字体。它适合的是有足够尺寸来展示其流畅典雅曲线的场合比如标题或者 LOGO。

垂直的轴线

强烈的笔画粗细对比

衬线曲线平滑

代表字体有Baskerville、Times Roman

Moderns 现代

Moderns现代字体的特征

Didone 迪多尼

[图片来源]

Didone迪多尼字体的最大特征就是极细的无撑拱衬线也被称为发丝衬线hairline-serif与Transitional 过渡期字体相比有更高的笔画粗细对比字母开口闭合处也更紧凑。这种字体不是很适合作为正文排版它需要较大的展示空间。

极细的发丝衬线hairline-serif

笔画粗细对比达到极致

字母开口处紧凑

代表字体有Didot、Bodoni

Mechanistic 机械风格体

[图片来源]

Mechanistic 机械风格也被称为 slab serif 粗衬线、厚板、板状衬线体其最大的特征就是粗厚的无撑拱衬线。通常Mechanistic 风格的字体笔画粗细对比低且很粗曲线也很生硬。

无撑拱支架的粗厚衬线

笔画粗且粗细对比低

曲线生硬

代表字体Clarendon、Rockwell

Lineals 线体

线体更常见的名称是sans-serif无衬线体和gothic哥特体。其是现代字体的代表其特征就是没有衬线所以它还有很多子类别Grotesque 怪诞体、Neo-grotesque 新怪诞体、Geometric 几何体、Lineal Humanist 人文主义无衬线体。

由于Grotesque怪诞体是最早的无衬线体所以很多地方也把无衬线体称为 Grotesque怪诞体或 Grotesk德语怪诞体。

Grotesque 怪诞体

[图片来源]

怪诞体是最早的无衬线字体。也被直接称为歌德体或者音译为格洛特斯克体。

它没有衬线并且笔画极粗还有明显的笔画粗细对比通常只会用在标题或者大尺寸场合。

G 字母有字刺

笔画粗细对比明显

较高的 x 字高

代表字体Monotype Grotesque、Franklin Gothic

Neo-grotesque 新怪诞体

[图片来源]

新怪诞体是最常见的无衬线字体了其笔画粗细变化小、开口处紧凑、X 字高较大、曲线柔和很适合最为正文字体有名的 Helvetica 就是新怪诞体的代表。

笔画粗细变化小

X 字体高度大

曲线柔和

代表字体Universal、Helvetica

Geometric 几何体

[图片来源]

如其名是遵循几何形式来制作的字体极具现代感不适合作为正文字体著名的Futura 就是几何字体。

由几何结构构成外形

笔画粗细对比小

代表字体Futura、Eurostile

Lineal Humanist 人文主义无衬线体

[图片来源]

和经典的人文主义字体相似人文主义无衬线字体也留有手写的特征虽然没有衬线但是笔画有装饰线的粗细变化作为正文时会又类似衬线体的效果。

有装饰性的笔画粗细变化

代表字体Gill sans、Optima

Calligraphics 书法体

相比上面那些字体书法体外形更加多样

Glyphic 雕刻体

雕刻体来自于雕刻和镌刻的字母。雕刻体是最早的字体只有大写字母不过现在的雕刻体字体都会配上小写字母许多雕刻字体看起来可以被分类为衬线字体。

Blackletter　哥特黑体

Blackletter 由于流行于哥特时期12世纪 ~ 14世纪末 所以常被称为 Gothic Script哥特手写体或者Old English Script旧英文手写体要注意的是国内很多地方直接把Blackletter 翻译成哥特体或者黑体这很可能产生误解实际上在字体领域有一段时间Gothic哥特体代表的无衬线的字体虽然目前在英文中几乎不用 Gothic 代表无衬线体了但是在日本和韩国还流行用Gothic 代表无衬线字体比如Franklin Gothic 和 Windows MSGothic。而“黑体”在中文字体中也是指无衬线体 所以为做区别最好称其为“哥特手写体”或者“哥特黑体”。

这种字体在德国使用到了二战时期所以一般也认为Blackletter 是德国标志性的字体所以它还有个德文翻译过来的名字Broken Letter破笔字体。

代表字体Walbaum Fraktur、Monotype Engravers

Script 书法体

Script 书法体也可以称为草体。

代表字体Shelley、Mistral

Graphic 图形字体

图形字体从本质上来说就是不属于其他类别的展示字体。它可以是用毛笔、钢笔等任意工具来书写或设计。如果这个字体不是无衬线字体或者衬线字体那它可能就是图形字体。

代表字体Albertus、Trajan

Gaelic

另外还有一种Gaelic凯尔特体主要在爱尔兰使用通常不会用到。

年代划分

公元前 ~ 四世纪古罗马

这个时期的代表字体是古罗马帝国的雕刻体Glyphic 由于这个年代小写字母还没发明出来要表现这个时代的氛围最好使用全大写。

代表字体Trajan、Stempel、Rusticana、Hercvlanum

四 ~ 五世纪

这个年代的代表字体是 Uncial安色尔 体这是主要书写在羊皮纸上的字体。Uncial 原意为“一英寸高的文字”因为当时羊皮纸昂贵所以当时这种字体高度小字距小不过当代的数码字体都有了合适的字距。虽 Uncial 体流行于四、五世纪不过直到八世纪作为书写圣经的主要字体。

代表字体Omnia、Hammer Unziale789年

九世纪中世纪

Carolingian卡洛林 是卡洛林王朝时期兴起的字体外形上已经与现代的英文字体差不多了也开始大小写成对使用了。查理曼时期789年为保证抄本内容的准确性把抄写字体统一为Carolingian minuscule 卡洛林小写字体让其成为了中世纪最具代表性的字体。

代表字体Carolina、Carolingian minuscule、Carolingiaby William Boyd

十三 ~ 十四世纪

这个时期主要的字体是带有明显平头笔书写特征的Blackletter 哥特黑体。

代表字体Duc De Berry、Notre Dame、Alte Schwabacher、Wihelm Klingspor Gotisch

十四~ 十五世纪文艺复兴

文艺复兴时期是人文主义字体兴起的时期相比过去的字体 x 高度更低了而且意大利斜体开始流行。另外文艺复兴时期还有复古的潮流古罗马时期的字体也备受尊崇。

代表字体Centaur、Legacy Serif、Adobe Jenson、Poetica

十六~ 十七世纪巴洛克

巴洛克Baroque 时期字体的特点是精致的衬线和笔画粗细对比度较高也就是Garalde 加拉德体的特征。另外这个时期有夸张字花的手写体也很有代表性。

代表字体Baskerville、Galliard、Janson、Baroque Script

十八世纪洛可可

这个时期的洛可可艺术Rococo风格盛行其最具代表性的字体风格就是细腻柔媚、曲线大胆的各种手写体。而得益于印刷技术的提升字体越来越注重对细线条的表现Didone 迪多尼风格的字体也由此诞生。

代表字体Snell Roundhand、Shelley Script、Linoscript、Cochin、Linotype Didot

十九世纪维多利亚

这个年代的代表字体是报纸、广告中使用的各种夸张的装饰字体。另外无衬线体也在此时开始广泛使用。

代表字体Thorowgood、Egyptian、Hawthorn、Carlton、Bernhard、Franklin Gothic

二十世纪

二十世纪以来的字体多样性极其丰富很难说那一种能代表一个年度不过也有Helvetica 这样的经典的字体。

部分字体图片出处《西文字体》

中文字体

字体分类

历史划分

甲骨文

商周时期的文字形式。

作为字体字库目前使用的最广的是“北师大甲骨文体”另外还有台湾中研院甲骨文体、香港中文大學漢達文庫的ics3.ttf、日本文字鏡研究會的Mojikyo font 等。

篆书

春秋战国时期的代表文字。是秦始皇统一六国后以小篆为全国的官方字体。

常用字体汉仪篆书、方正小篆

隶书

汉朝的代表字体。隶书在秦朝就已诞生不过到汉朝才成为主流所以也被称为“汉隶”。

隶书笔画粗细变化小、较平直外形扁平、工整、庄重。讲究“蚕头燕尾”起笔凝重结笔轻疾、“一波三折”线条运笔变化。

常用字体汉仪隶书、华文隶书、蒙纳小隶

草书

草书源于汉代初期。

草书源于书写潦草的隶书主要分为章草、今草、行草、狂草。草书有大量字形的简化、连笔较难辨认。并且通常有一定倾斜。

常用字体方正大草、方正黄草、叶根友疾风草书、白舟草書、 奔行かな

行书

行书源于东汉时期。

行书发展源于隶书是介于楷书、草书之间的一种字体分为“行楷”和“行草”“行草”较“行楷”笔画更加奔放更近似草书。相比草书行书只是在隶书的基础上更加突出笔画的变化笔画间增加了“游丝”字形构成基本不变没有草书那样较显著的简化、连笔和倾斜能很容易的辨认。

常用字体华文行楷、汉仪行楷、DF行書体、王汉宗中行楷、方正硬笔行书、金梅草行書、方正字迹-吕建德行楷

魏碑体

魏碑体是北魏的代表字体。

魏碑体阶与隶书与楷书之间相比隶书不像隶书那样粗扁相比楷书笔画粗细变化又更为明显。独特的特征是撇捺会向两侧伸展收笔前有明显粗顿以及抬峰使整个字形稳重中又略显飞扬。

很多时候也会把魏碑体当成楷书的一种。

常用字体华文新魏、方正魏碑、汉仪魏碑

楷书

魏晋、南北朝时期到唐朝的代表字体。大体可分为早期的“魏碑”和后期的“唐楷”。

楷书始脱于隶书没有隶书那么粗扁笔画带有明显毛笔书写痕迹“横”依然明显的左低右高。

在常见的中文排版中楷体有类似西文中Italic意大利体的作用即宋体作为正文而楷体作为强调、引用字体。

常用字体华文楷体、方正新楷体、汉仪全唐诗、方正苏新诗柳楷、方正宋刻本秀楷

宋体

明朝的代表字体起源于宋朝。

宋体虽称为宋体但在宋朝并不流行反而在明朝更为常见。由于历史原因在大陆称为宋体港台和日本则称其为“明朝体”。

宋体始源于宋代的印刷字体当时以木板作活版印刷为顺应木的天然纹理笔画直横平竖直、横细竖粗起落笔有棱有角有明显衬线字形方正。所以也被称为“匠人体”。

由于宋体横细竖粗的特征很适合竖排而现代排版通常都是横排所以现在常用的宋体笔画横竖笔画对比会比传统宋体略低。

另外由于 Windows 中自带的宋体中易宋体12~14 pt 大小时显示的是点阵字体常有人以宋体代称为点阵字实际 2 者并没关系。

中易宋体 12~14 pt 会显示为点阵字体

常用字体汉仪书宋、游明朝体、小塚明朝 Pro、ヒラギノ明朝、リュウミンRyumin Pro、方正新书宋、方正雅宋、方正宋体、方正新报宋、造字工房刻宋、蒙纳长宋

仿宋体

可以代表宋朝的字体。

仿宋体是仿制南宋临安陈起陈宅书籍铺出版的书籍的字体于实际兴盛于明朝但被叫做“宋体”的宋体来说更能代表宋朝的字体风格。在日本直接称其为“宋朝体”。

仿宋实际是有明显楷体风格的印刷体笔画较直但不如“宋体”那样完全直来直去“横”依然带有楷书的左低右高特征笔画粗细没有宋体的横细竖粗而是较为平均。

常用字体方正仿宋、文悦古体仿宋、蒙纳仿宋

清朝体

清朝的代表字体应该说是楷书随着雕版印刷技术的提升印刷字体相比宋体有了更多表现笔画的特征。清朝字体的一个特征是中宫普遍较紧凑不过和其他楷体来说没有决定性差别所以“清朝体”的称呼在国内并不多见反而在日本比较常见。

清朝体有代表性的字体有仿照扬州诗局刊行的《全唐詩》而作的全唐诗字体还有清朝官刻体另外还有前些年在平面设计领域用到烂的康熙字典体不过康熙字典体的流行和清朝体关系不大主要是因为其扫描古籍录入的斑驳字迹。

常用字体康熙字典体、汉仪全唐诗、弘道軒清朝体、 欣喜堂清朝官刻体、 DF古籍木蘭A

黑体

二十世纪中期以来的代表字体。

黑体即是无衬线的中文字体没有装饰用的衬线简化笔画特征笔画粗细差别极小。也被称为等线体、哥特体日本叫法。最早是日本依据西文无衬线体而作的中文无衬线体后传入中国吴竹体最早只是作为粗大的标题字体所以被称之为黑体。

黑体是目前屏幕显示的首选字体。

常用字体思源黑体、中易黑体、方正兰亭黑、冬青黑体、方正等线、方正幼线、 方正纤黑、汉仪旗黑、小塚ゴシック、游ゴシック 、信黑體、微軟正黑體 蒙纳、微软雅黑体方正、方正悠黑简、メイリオ、苹方

风格字体分类

上面是中文字体的主要划分方式有些字体在其基础上又独特的风格自成一体。

综艺体

综艺体是黑体的变种通常用在广告、标题上。字面极大、追求尽量将空间充满。

常用字体創挙蘭、方正综艺、汉仪综艺、造字工房力黑、造字工房版黑

圆体

圆体也是黑体的变种最早在秀英舎的『活版見本帳』1914年中出现早期流行的圆体是石井丸ゴシック体1956。

圆体的特征在于笔划的末端与转角呈圆弧状。因此圆体不但具有黑体清晰易读的优点而且也予人较柔和的感觉。国内更加常见的幼圆体是圆体的一种是笔画更加细的圆体。

常用字体蒙纳幼圆、DF丸ゴシック体華康圆体、あいこフォント、方正圆体、造字工房悦圆

宋黑体

宋黑体是介于宋体和黑体之间带类似宋体的衬线和黑体笔画特征的字体和普通的的粗笔画宋体的差别是粗宋体会有明显的“横细竖粗”的笔画粗细对比而宋黑体没有。

常用字体方正宋黑、锐字云字库宋黑体

圆宋

圆宋是基于宋体的变体相当于圆体之于黑体。在日本被称为“丸明朝体”。相对于圆体其有宋体的特征笔画有“横细竖粗”的粗细对比、带有衬线。而相对于宋体其衬线圆滑虽有宋体的笔画特征但把棱角都做了圆化字体结构方正但细节圆润有马克笔书写的感觉。

常用字体丸明オールド、汉仪润圆、方正秉楠圆宋

姚体

姚体通常认为是原中华书局聚珍部主任姚竹天于民国时期设计上海解放日报社高级技工姚志良在二十世纪 50 年代改刻的字体。也有说法是姚体跟姚竹天的关系是误传。姚体兴盛于中国大陆的 60、70 年代被用作报纸标题、宣称标语和招牌的字体。至今仍能在很多城市的车站中见到姚体的站名。

姚体是结合了宋体和黑体特征的字体一般归类为黑体的变种。其特征是像宋体一样的直线笔画和“横细竖粗”的粗细对比但没有宋体的衬线但有明显的喇叭口和笔画出头作为装饰最明显的莫过于竖长的字形和纵向的笔画走向。

常用字体方正姚体、蒙纳小姚

金文体

这个金文体并不是指中国古代的金文而是一个在日本流行的字体实际上类似于篆书体其特点是垂直延伸的字形并且字的下半部分看起被拉长有类似篆书的笔画曲线。这种字体看起来既有有古典气息又有现代、神秘的感觉非常多的用在日本科幻、魔法风格的小说、漫画、动画产品产品的标题和海报中。

常用字体华康金文体DFP金文体、DFP金文体うめ

其他字体

绘文字emoji

绘文字emoji最早是在 1998 年左右出现在日本NTT DoCoMo 公司的 i-mode 手机中的功能。

最早的 au 絵文字

把文字和图形穿插日本自古就有日本江户时代的判じ絵画迷

绘文字emoji是以一个字符表示一个图形的方式表达信息每个绘文字emoji其本质是一个特殊字符2010年10月发布的 Unicode 6.0 中首次把绘文字emoji编入其中往后每次Unicode 更新几乎都会增加新的绘文字emoji。每个绘文字emoji字符虽然都有指定的意义但是实际外观取决于使用的字体而各个平台使用的字体并不相同

各个平台对 的支持情况可以参考 Can I Emoji各个平台上绘文字emoji实际外观可以查看emojipedia。要注意的是绘文字emoji和顔文字かおもじ、Emoticon、表情符号是指定不同的东西顔文字是指如:-) _(:3 」∠)_^_^这样用普通字符组成特定外形来表达表情或动作的文本。其使用的是普通字符而不是特殊的字符所以顔文字有更好的通用性是ASCII 艺术的一种形式。

Dingbat 字体与 Icon-font

虽然现在流行的绘文字emoji形式的图形字符起源于日本的手机不过把图形用在字符中早在数字时代之的印刷业就有了活字时代就有用来装饰文本的fleuron花边 后来也出现了Dingbats装饰符号、杂锦字体其中最有名和使用最广的是 1971 年的Zapf Dingbats 在Zapf Dingbats 中主要还是用在传统印刷品中的标志或装饰性符号不过小圆脸表情☻已经出现了。而 1990 年随 Windows 3.1 发布的Wingdings 和后来发布的其 web 版本 Webdings 网页核心字体之一有了更多现代的图形比如心型和眼睛 。

Zapf Dingbats 部分

Wingdings

Dingbats 字体也被称为 Pi 字体一般名字中带 Pi 的就是Dingbats 字体。而当今流行的icon-font 技术就是他们的继承者例如网页中常用的Font Awesome、iconfont.cn都是一种Dingbats 这种技术可以方便的在网页或者文本构成的用户界面中加入图形标志而且由于是字体所以这是当前支持 Svg 等矢量图形显示技术的地方还不多最方便的显示矢量图形的方式。

icon font

文本编码与 Unicode

对于了解字体来说文本编码标准是不得不认识的尤其是对要制作或者修改字体的人来说。字体的一个字符对应一个编码码点codepoint而编码对应字符集Character Set里的一个“字”字体的字符通过字符集与“字”相连。

文本编码的流程

字符集与编码方式

像通常说的Unicode、GBK、BIG5、Shift_JIS 这些都是字符集其主要作用是为字符集中的每一个“字”分配一个编码码点codepoint要注意的有两点

字符集里的每一个编码对应的是一个“字”而不是“字形”也就是说一个“字”在不同的地区或标准中可能有不同的“字形”但字符集中只能对其分配一个编码除非相差过大比如简化字要显示其不同的“字形”要通过使用为不同地区或标准设计的字体来实现。

同字异形。左边是简体中文的右边是日文

字符集是为字分配一个编码码点而这个字存储到文件要再通过特定编码方式Encoding来变成实际的二进制数据这样做的意义在于能够使用不定长为了节省空间的编码。

举一个十进制的例子来说有两个字编码分别是 1、15 要存储的话最简单的方式是存储为定长数据 01、15 。之所以要定长是为了再次读取时不会发生混淆比如如果直接不定长存储的话读取 10 字符时读到第一位1 就以为读到是 1 了。1, 15存储为 110 再读取就变成了 1, 1, 5了。而要定长存储的话就要浪费很多空间所以要再经过一次编码比如这个例子里可以用把 1 作为标志位,读到 1 就表明这是 2 位编码的字要再度一位。这样把两个字编码为 2、15这样就能直接存储为 215 了这比定长的 0115要节省空间。这个过程就是编码方式Encoding来决定的。实际上的Encoding 是根据二进制来处理的上面的例子只是便于理解。

过去的字符集往往与编码方式相对应比如 GB2312 就只使用 EUC-CN 这让我们可以忽略它的编码方式或者说把编码方式看成是字符集的一部分统称为编码标准比如只说某个文本是用 GB2312 文本编码。而后来出现了可能会又不同的编码方式的字符集Unicode 字符集就有 UTF-8、UTF-16 LE 、UTF-16 BE 等编码方式这时就要区分字符集和编码方式了。用 UTF-8、UTF-16 等编码方式存储同一个字符它们的数据可能是不同的但是这些数据都唯一对应于Unicode 中的一个编码码点codepoint。这本来容易理解不过 Windows 下用 Unicode 来称呼 UTF-16 LE应该是由于 UTF-16 LE 是 Windows 的内部 Unicode 编码所以就这么称呼这就造成了很多误解让人以为 UTF-8 是字符集。

Windows 用 Unicode 直接代指 UTF-16 LE

代码页

代码页codepage是操作系统中管理各种编码标准的方法每个代码页对应一种字符集和编码方式比如 Unicode-UTF-8 的代码页是 65001GBK 是的代码页是936 。

代码页是实际编码标准到应用程序间的中间层好处是通过改变代码页可以简单的切换系统默认支持的编码标准而且便于更新编码标准比如 Winodows 3.1 时代码页 936还是对应的GB 2312而 winodws 95 时已经代码页 936 就更新到对应 GBK 了这样应用程序不需要修改就能支持新的编码标准。

Windows 中把当前系统默认代码页称为 ANSI 。

GB2312、GBK 、BIG5、Shift_JIS

GB 2312 是 1980 年制定的编码标准GBK 是对GB 2312 的扩展K增加了一些字符并保持向下兼容。

BIG5 是台湾制定的编码标准由于台湾使用繁体字所以这是繁体地区最常用的文本编码标准。

Shift_JIS 是日本最常用的文本编码标准。

目前中国大陆的标准是国家编码标准是GB 18030。

Unicode

上面的 GBK、Shift_JIS 等传统编码标准都只为一个地区使用所制定的而Unicode 是目标为所有国家、地区、语言的字编入同一个字符集所以其被称为统一码、万国码。

Unicode 使用平面Plane来安排编码空间每个平面分 为 256 行256 列即 65536 个字。共有 17 个平面。所以 Unicode 共可以容纳约 110 万字1,114,112最大的编码是10FFFF。目前 Unicode 8.0 已经所使用了 12 万字120,737。

Unicode 是个还在不断不断更新扩充的标准。

Unicode 的平面分为基本平面BMP Basic Multilingual Plane和补充平面 也有翻译成辅助平面SMPSupplementary Multilingual Plane只有第一个平面是基本平面也就是 Plane 0剩下的 16 个平面都是补充平面。

如上面所说Unicode 有多种编码Encoding方式UTF-32、UTF-16 LE、UTF-16 BE、UTF-8 等最常用的是UTF-8 其基本平面的字符主要是ASCII 字符只要使用1个字节存储而中文通常是占3 个字节少数要占 4 个字节。而 UTF-16 编码第一平面的字符也要占 2 个字节中文占 2 B