C 读取 UTF-8 及 GBK 系列的文本方法及原理
时间：2021-12-07 10:50:53
手机看文章
扫描二维码
随时随地手机看文章
[导读]1.读取UTF-8编码文本原理首先了解UTF-8的编码方式，UTF-8采用可变长编码的方式，一个字符可占1字节-6字节，其中每个字符所占的字节数由字符开始的1的个数确定，具体的编码方式如下：U-00000000–U-0000007F:0xxxxxxxU-00000080–U-00...
1.读取 UTF-8 编码文本原理
首先了解 UTF-8 的编码方式，UTF-8 采用可变长编码的方式，一个字符可占 1 字节 -6 字节，其中每个字符所占的字节数由字符开始的 1 的个数确定，具体的编码方式如下：
其中 Text 抽象类的定义如下：
首先了解 UTF-8 的编码方式，UTF-8 采用可变长编码的方式，一个字符可占 1 字节 -6 字节，其中每个字符所占的字节数由字符开始的 1 的个数确定，具体的编码方式如下：
U-00000000 – U-0000007F: 0xxxxxxxU-00000080 – U-000007FF: 110xxxxx 10xxxxxxU-00000800 – U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxxU-00010000 – U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxxU-00200000 – U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxxU-04000000 – U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx因此，对于每个字节如果起始位为“0”则说明，该字符占有 1 字节。如果起始位为“10”则说明该字节不是字符的其实字节。如果起始为为 n 个“1” 1个“0”，则说明改字符占有 n 个字节。其中1≤n≤6。因此对于 UTF-8 的编码，我们只需要每次计算每个字符开始字节的 1 的个数，就可以确定这个字符的长度。GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(34, 34, 34);border-bottom: 1px solid rgb(238, 238, 238);line-height: 1.75em;box-sizing: border-box !important;overflow-wrap: break-word !important;">2.读取 GBK 系列文本原理
对于 ASCII、GB2312、GBK 到 GB18030 编码方法是向下兼容的 ，即同一个字符在这些方案中总是有相同的编码，后面的标准支持更多的字符。在这些编码中，英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为 0。因此我们只需处理好 GB18130，就可以处理与他兼容的所有编码，对于GB18130 使用双字节变长编码。单字节部分从 0×0~0x7F 与 ASCII 编码兼容。双字节部分，首字节从 0×81~0xFE，尾字节从 0×40~0x7E以及 0×80~0xFE，与 GBK 标准基本兼容。因此只需检测首字节是否小于 0×81 即可确定其为单字节编码还是双字节编码。GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(34, 34, 34);border-bottom: 1px solid rgb(238, 238, 238);line-height: 1.75em;box-sizing: border-box !important;overflow-wrap: break-word !important;">3.C 代码实现
对于一个语言处理系统，读取不同编码的文本应该是最基础的需求，文本的编码方式应该对系统其他调用者透明，只需每次获取一个字符即可，而不需要关注这个文本的编码方式。从而我们定义了抽象类 Text，及其接口ReadOneChar，并使两个文本类 GbkText 和 UtfText 继承这个抽象类，当系统需要读取更多种编码的文件时，只需要定义新的类然后继承该抽象类即可，并不需要更改调用该类的代码。从而获得更好的扩展性。更好的方式是使用简单工厂模式，使不同的文本编码格式对于调用类完全透明，简单工厂模式详解请参看：设计模式：可复用面向对象软件基础。其中 Text 抽象类的定义如下：
#ifndef TEXT_H#define TEXT_H#include #include using namespace std;class Text{ protected: char * m_binaryStr; size_t m_length; size_t m_index; public: Text(string path); void SetIndex(size_t index); virtual bool ReadOneChar(string 
下载文档
