编解码器基类

这个 codecs 模块定义了一组基本类，这些基本类定义了用于处理编解码器对象的接口，还可以用作自定义编解码器实现的基础。

每个编解码器必须定义四个接口，使其在Python中可用作编解码器：无状态编码器、无状态解码器、流阅读器和流编写器。流阅读器和编写器通常重用无状态编码器/解码器来实现文件协议。编解码器作者还需要定义编解码器如何处理编码和解码错误。

编码和Unicode

字符串在内部存储为范围内的代码点序列 0x0 --0x10FFFF。（见 PEP 393 有关实现的更多细节。）一旦在CPU和内存之外使用字符串对象，endianness以及如何将这些数组存储为字节就成了一个问题。与其他编解码器一样，将字符串序列化为字节序列称为 编码 ，从字节序列重新创建字符串称为 译码 . 有各种不同的文本序列化编解码器，这些编解码器统称为 text encodings .

最简单的文本编码（称为 'latin-1' 或 'iso-8859-1' ）将代码点0-255映射到字节 0x0 --`` 0xff```，表示上面包含代码点的字符串对象 U+00FF 无法用此编解码器编码。这样做会提高 UnicodeEncodeError 如下所示（尽管错误消息的详细信息可能有所不同）： UnicodeEncodeError: 'latin-1' codec can't encode character '\u1234' in position 3: ordinal not in range(256) .

另一组编码（所谓的charmap编码）选择所有Unicode代码点的不同子集，以及这些代码点如何映射到字节。 0x0 -‘0xFF’。要了解这是如何完成的，只需打开例如 encodings/cp1252.py （主要在Windows上使用的编码）。有一个包含256个字符的字符串常量，它向您显示将哪个字符映射到哪个字节值。

所有这些编码只能编码用Unicode定义的1114112个码位中的256个。可以存储每个Unicode代码点的一种简单而直接的方法是将每个代码点存储为四个连续的字节。有两种可能：按big-endian或little-endian顺序存储字节。这两个编码叫做 UTF-32-BE 和 UTF-32-LE 分别。他们的缺点是如果你使用 UTF-32-BE 在一个小的endian机器上，在编码和解码时总是需要交换字节。 UTF-32 避免这个问题：字节总是以自然的结尾。当这些字节由具有不同的端序的CPU读取时，那么必须交换字节。能够检测 UTF-16 或 UTF-32 字节序列，有所谓的BOM（“字节顺序标记”）。这是Unicode字符 U+FEFF .这个角色可以在 UTF-16 或 UTF-32 字节序列。此字符的字节交换版本 (0xFFFE ）是一个可能不会在Unicode文本中出现的非法字符。所以当第一个角色 UTF-16 或 UTF-32 字节序列似乎是 U+FFFE 解码时必须交换字节。不幸的是，这个角色 U+FEFF 有第二个目的 ZERO WIDTH NO-BREAK SPACE ：没有宽度且不允许拆分单词的字符。例如，它可以用来提示结扎算法。使用Unicode 4.0 U+FEFF 作为一个 ZERO WIDTH NO-BREAK SPACE 已弃用（与 U+2060 (WORD JOINER ）承担这个角色）。然而，Unicode软件仍然必须能够处理 U+FEFF 在这两个角色中：作为一个BOM，它是一个确定编码字节的存储布局的设备，一旦字节序列被解码成字符串，它就会消失；作为一个 ZERO WIDTH NO-BREAK SPACE 它是一个普通的字符，可以像其他任何字符一样被解码。

还有另一种编码可以对整个Unicode字符范围进行编码：UTF-8。UTF-8是一种8位编码，这意味着在UTF-8中字节顺序没有问题。UTF-8字节序列中的每个字节由两部分组成：标记位（最高有效位）和有效载荷位。标记位是从0到4的序列。 1 位后跟a 0 比特。unicode字符的编码方式如下（x是有效负载位，当连接时，将给出unicode字符）：

Unicode字符的最低有效位是最右边的X位。

由于UTF-8是8位编码，因此不需要任何BOM和任何 U+FEFF 解码字符串中的字符（即使是第一个字符）被视为 ZERO WIDTH NO-BREAK SPACE .

如果没有外部信息，就无法可靠地确定用于编码字符串的编码方式。每个charmap编码都可以解码任意随机字节序列。但是，使用UTF-8是不可能的，因为UTF-8字节序列的结构不允许任意字节序列。为了提高检测utf-8编码的可靠性，微软发明了一种utf-8的变体（python 2.5调用 "utf-8-sig" ）对于它的记事本程序：在将任何Unicode字符写入文件之前，一个UTF-8编码的BOM（它看起来像一个字节序列： 0xef ， 0xbb ， 0xbf 是书面的。因为任何charmap编码的文件都不可能以这些字节值开头（例如映射到

带分音符的拉丁文小写字母I

右指双尖引号

倒问号

在ISO-8859-1中，这增加了 utf-8-sig 编码可以从字节序列中正确猜测。因此，在这里，BOM不能用来确定用于生成字节序列的字节顺序，而是作为一个有助于猜测编码的签名。在编码时，utf-8-sig编解码器将写入 0xef ， 0xbb ， 0xbf 作为文件的前三个字节。关于解码 utf-8-sig 如果这三个字节显示为文件中的前三个字节，则将跳过它们。在UTF-8中，不鼓励使用BOM，通常应避免使用。

标准编码

python内置了许多编解码器，可以实现为C函数，也可以使用字典作为映射表。下表按名称列出了编解码器，以及一些常见的别名，以及可能使用编码的语言。别名列表和语言列表都不是详尽的。请注意，只有大小写不同或使用连字符而不是下划线的拼写替代项也是有效的别名；因此，例如 'utf-8' 是的有效别名 'utf_8' 编解码器。

许多字符集支持相同的语言。它们在单个字符（例如，是否支持欧元符号）以及将字符分配到代码位置方面有所不同。尤其是对于欧洲语言，通常存在以下变体：

• ISO 8859代码集

• Microsoft Windows代码页，通常从8859代码集派生，但将控制字符替换为其他图形字符。

• IBM EBCDIC代码页

• IBM PC代码页，与ASCII兼容

特定于python的编码

许多预定义的编解码器特定于Python，因此它们的编解码器名称在Python之外没有意义。下表根据预期的输入和输出类型列出了这些类型（请注意，虽然文本编码是编解码器最常见的用例，但底层编解码器基础结构支持任意数据转换，而不仅仅是文本编码）。对于非对称编解码器，所述含义描述编码方向。

encodings.idna ——应用中的国际化域名

此模块实现 RFC 3490 （应用程序中的国际化域名）和 RFC 3492 （NamePrep:国际化域名（IDN）的StringPrep配置文件）。它建立在 punycode 编码与 stringprep .

这些RFC一起定义了一个协议来支持域名中的非ASCII字符。包含非ASCII字符的域名（例如 www.Alliancefrançaise.nu ）转换为与ASCII兼容的编码（ace，例如 www.xn--alliancefranaise-npb.nu ）然后在协议不允许使用任意字符的所有位置（如DNS查询、HTTP）使用域名的ace形式。 Host 字段等等。这种转换是在应用程序中进行的；如果可能，用户看不见：应用程序应该透明地将unicode域标签转换为线路上的idna，并在将ace标签呈现给用户之前将其转换回unicode。

python通过以下几种方式支持这种转换： idna codec performs conversion between Unicode and ACE, separating an input string into labels based on the separator characters defined in section 3.1 of RFC 3490 and converting each label to ACE as required, and conversely separating an input byte string into labels based on the . 分隔并将找到的任何ACE标签转换为unicode。而且 socket 模块透明地将unicode主机名转换为ace，这样当应用程序将主机名传递给socket模块时，就不必担心转换主机名本身了。除此之外，具有主机名作为函数参数的模块，例如 http.client 和 ftplib ，接受Unicode主机名 (http.client 然后在 Host 字段（如果它发送该字段）。

从连线接收主机名时（例如在反向名称查找中），不会执行到Unicode的自动转换：希望向用户显示此类主机名的应用程序应将其解码为Unicode。

模块 encodings.idna 还实现了NamePrep过程，该过程对主机名执行某些规范化，以实现国际域名不区分大小写，并统一类似字符。如果需要，可以直接使用NamePrep函数。

encodings.idna.nameprep(label)

返回的已准备好名称的版本 标签 . 该实现当前假定查询字符串，因此 AllowUnassigned 是真的。

encodings.idna.ToASCII(label)

将标签转换为ASCII，如中所指定 RFC 3490 . UseSTD3ASCIIRules 假定为假。

encodings.idna.ToUnicode(label)

将标签转换为Unicode，如中所指定 RFC 3490 .

encodings.mbcs ---Windows ANSI代码页

此模块实现ANSI代码页（CP_ACP）。

Availability ：仅限Windows。

encodings.utf_8_sig ---带BOM签名的UTF-8编解码器

这个模块实现了UTF-8编解码器的一个变体。在编码时，一个UTF-8编码的BOM将被前置到UTF-8编码的字节。对于有状态编码器，这只进行一次（在第一次写入字节流时）。解码时，将跳过数据开头的可选UTF-8编码BOM。