热门标签
热门文章
- 1IntelliJ IDEA 4 新特性 之 On-the-Fly Code Analysis(动态代码分析)_on-the-fly code analysis怎么用
- 2深度学习系列56：使用whisper进行语音转文字_faster-whisper加速
- 3华为桌面云解决方案概述_解决方案概述和数据安全建议
- 4cmd命令之Xcopy介绍_复制文件夹里所有文件到另一个文件夹操作方式
- 5C++学习笔记——Eigen模块（用于矩阵运算）_c++ eigen
- 6基于vue-simple-uploader的文件分片上传_vue-simple-uploader配置categorymap
- 7洛谷B2095 白细胞计数
- 82021年中国企业直播行业发展回顾及未来预测分析[图]_直播间前五年收入预测
- 9Hive映射Hbase_hive hbase 映射表
- 10DOS 字符和符号_dos 通配符
当前位置: article > 正文
【Node系列】Buffer详解
作者：凡人多烦事01 | 2024-02-07 13:57:17
赞
踩
【Node系列】Buffer详解
一、Buffer详解
JavaScript 语言自身只有字符串数据类型，没有二进制数据类型。
但在处理像TCP流或文件流时，必须使用到二进制数据。因此在 Node.js中，定义了一个 Buffer 类，该类用来创建一个专门存放二进制数据的缓存区。
Node.js中的Buffer是一个全局对象，属于固有（built-in）类型的全局变量，不需要使用require函数导入。它允许直接操作原始内存，主要用于处理二进制数据流。Buffer实例对象的结构和整数数组很像，但Buffer的大小是固定的且在V8堆外分配物理内存。
每个Buffer实例对应底层的固定长度的内存分配，大小在被创建时确定，且无法改变，但实例对象的内容可以像操作数组一样修改。此外，Buffer实例的元素为16进制的两位数，即0~255的数值（16的二次方），可以像数组一样操作Buffer实例。
Buffer将性能相关的部分使用C++实现，非性能相关的部分使用JavaScript实现。使用Buffer的主要原因是基于性能方面的考虑，特别是在进行I/O操作和网络数据传输时，预先把静态内容（字符串、图片等）转换为Buffer对象，可以减少CPU的重复使用、节省服务器资源并大幅提升性能。
二、Buffer 与字符编码
Node.js的Buffer实例一般用于表示编码字符的序列，例如UTF-8、UCS2、Base64或十六进制编码的数据。通过使用显式的字符编码，可以在Buffer实例与普通的JavaScript字符串之间进行相互转换。
在处理文本数据时，通常需要将字符串转换为二进制数据进行处理，或者将二进制数据转换为字符串进行展示，这就涉及到字符编码的问题。Node.js目前支持的字符编码包括ASCII、UTF-8、Base64、二进制和自定义编码等。
Buffer实例可以通过Buffer.from()方法创建，接受两个参数：数据和编码方式。如果没有指定编码方式，则默认使用UTF-8编码。
例如，可以使用以下代码创建一个Buffer实例并指定编码方式：
const buf = Buffer.from('Hello, world!', 'utf8');
console.log(buf.toString('base64'));
- 1
- 2
还可以使用Buffer.alloc()方法创建一个指定大小的未初始化的Buffer实例。
需要注意的是，由于Buffer实例是在V8堆外分配内存，因此在使用完Buffer实例后应该手动将其释放，避免内存泄漏。可以通过调用Buffer.alloc()或Buffer.from()方法来创建一个新的Buffer实例来释放内存。
Node.js 目前支持的字符编码
| 字符编码 | 描述 |
|---|---|
| ascii | 仅支持 7 位 ASCII 数据。如果设置去掉高位的话，这种编码是非常快的 |
| utf8 | 多字节编码的 Unicode 字符。许多网页和其他文档格式都使用 UTF-8 |
| utf16le | 2 或 4 个字节，小字节序编码的 Unicode 字符。支持代理对（U+10000 至 U+10FFFF）。 |
| ucs2 | utf16le 的别名。 |
| base64 | Base64 编码。 |
| latin1 | 一种把 Buffer 编码成一字节编码的字符串的方式。 |
| binary | latin1 的别名。 |
| hex | 将每个字节编码为两个十六进制字符。 |
三、创建 Buffer 类
在Node.js中，Buffer类是核心模块的一部分，无需手动创建。但你可以使用它来创建Buffer实例并处理二进制数据。下面是一个简单的示例：
// 引入Buffer模块
const { Buffer } = require('buffer');
// 创建一个Buffer实例
let buf = Buffer.from('Hello, world!', 'utf8');
// 输出Buffer实例的内容
console.log(buf.toString('utf8')); // 输出: "Hello, world!"
// 将Buffer实例转换为十六进制字符串
console.log(buf.toString('hex')); // 输出: "48656c6c6f2c20776f726c6421"
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
在上面的代码中，我们首先引入了Node.js的Buffer模块。然后，我们使用Buffer.from()方法创建了一个Buffer实例，该方法接受两个参数：要转换的数据和字符编码。在这个例子中，我们将字符串’Hello, world!'转换为UTF-8编码的Buffer实例。
然后，我们使用buf.toString()方法将Buffer实例的内容转换为字符串。这个方法接受一个参数，表示字符编码。在这个例子中，我们将Buffer实例的内容转换为UTF-8编码的字符串。
最后，我们使用buf.toString('hex')方法将Buffer实例的内容转换为十六进制字符串。这个方法将Buffer实例中的每个字节都转换为两个十六进制字符，并将结果作为字符串返回。
Buffer 提供了以下 API 来创建 Buffer 类
- Buffer.alloc(size[, fill[, encoding]])： 返回一个指定大小的 Buffer 实例，如果没有设置 fill，则默认填满 0
- Buffer.allocUnsafe(size)： 返回一个指定大小的 Buffer 实例，但是它不会被初始化，所以它可能包含敏感的数据
- Buffer.allocUnsafeSlow(size)
- Buffer.from(array)： 返回一个被 array 的值初始化的新的 Buffer 实例（传入的 array 的元素只能是数字，不然就会自动被 0 覆盖）
- Buffer.from(arrayBuffer[, byteOffset[, length]])： 返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。
- Buffer.from(buffer)： 复制传入的 Buffer 实例的数据，并返回一个新的 Buffer 实例
- Buffer.from(string[, encoding])： 返回一个被 string 的值初始化的新的 Buffer 实例
四、写入缓冲区
在Node.js中，你可以使用Buffer类的write()方法将数据写入缓冲区。下面是一个简单的示例：
// 引入Buffer模块
const { Buffer } = require('buffer');
// 创建一个Buffer实例
let buf = Buffer.alloc(10);
// 将数据写入Buffer实例
buf.write('Hello, world!', 'utf8');
// 输出Buffer实例的内容
console.log(buf.toString('utf8')); // 输出: "Hello, world!"
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
在上面的代码中，我们首先使用Buffer.alloc()方法创建了一个大小为10的未初始化的Buffer实例。然后，我们使用buf.write()方法将字符串’Hello, world!'写入Buffer实例。这个方法接受两个参数：要写入的数据和字符编码。在这个例子中，我们将字符串’Hello, world!'转换为UTF-8编码并写入Buffer实例。
最后，我们使用buf.toString()方法将Buffer实例的内容转换为字符串。这个方法接受一个参数，表示字符编码。在这个例子中，我们将Buffer实例的内容转换为UTF-8编码的字符串并输出。
语法
buf.write(string[, offset[, length]][, encoding])
- 1
| 参数 | 描述 |
|---|---|
| string | 写入缓冲区的字符串。 |
| offset | 缓冲区开始写入的索引值，默认为 0 。 |
| length | 写入的字节数，默认为 buffer.length |
| encoding | 使用的编码。默认为 ‘utf8’ 。 |
五、从缓冲区读取数据
在Node.js中，你可以使用Buffer类的toString()方法从缓冲区读取数据。如果你想将Buffer实例的内容转换为字符串，可以使用toString()方法。这个方法接受一个参数，表示字符编码。如果你不指定字符编码，则默认使用UTF-8编码。
以下是一个示例：
// 引入Buffer模块
const { Buffer } = require('buffer');
// 创建一个Buffer实例
let buf = Buffer.from('Hello, world!', 'utf8');
// 从Buffer实例读取数据
let str = buf.toString('utf8');
console.log(str); // 输出: "Hello, world!"
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
在上面的代码中，我们首先使用Buffer.from()方法创建了一个Buffer实例，并将字符串’Hello, world!'转换为UTF-8编码的Buffer实例。然后，我们使用buf.toString()方法将Buffer实例的内容转换为字符串。这个方法接受一个参数，表示字符编码。在这个例子中，我们将Buffer实例的内容转换为UTF-8编码的字符串并输出。
语法
buf.toString([encoding[, start[, end]]])
- 1
| 参数 | 描述 |
|---|---|
| encoding | 使用的编码。默认为 ‘utf8’ 。 |
| start | 指定开始读取的索引位置，默认为 0。 |
| end | 结束位置，默认为缓冲区的末尾。 |
六、Buffer方法
new Buffer(size)分配一个新的 size 大小单位为8位字节的 buffer。 注意, size 必须小于 kMaxLength，否则，将会抛出异常 RangeError。废弃的: 使用 Buffer.alloc() 代替（或 Buffer.allocUnsafe()）。new Buffer(buffer)拷贝参数 buffer 的数据到 Buffer 实例。废弃的: 使用 Buffer.from(buffer) 代替。new Buffer(str[, encoding])分配一个新的 buffer ，其中包含着传入的 str 字符串。 encoding 编码方式默认为 ‘utf8’。 废弃的: 使用 Buffer.from(string[, encoding]) 代替。buf.length返回这个 buffer 的 bytes 数。注意这未必是 buffer 里面内容的大小。length 是 buffer 对象所分配的内存数，它不会随着这个 buffer 对象内容的改变而改变。buf.write(string[, offset[, length]][, encoding])根据参数 offset 偏移量和指定的 encoding 编码方式，将参数 string 数据写入buffer。 offset 偏移量默认值是 0, encoding 编码方式默认是 utf8。 length 长度是将要写入的字符串的 bytes 大小。 返回 number 类型，表示写入了多少 8 位字节流。如果 buffer 没有足够的空间来放整个 string，它将只会只写入部分字符串。 length 默认是 buffer.length - offset。 这个方法不会出现写入部分字符。buf.writeUIntLE(value, offset, byteLength[, noAssert])将 value 写入到 buffer 里， 它由 offset 和 byteLength 决定，最高支持 48 位无符号整数，小端对齐，例如：
const buf = Buffer.allocUnsafe(6);
buf.writeUIntLE(0x1234567890ab, 0, 6);
// 输出: <Buffer ab 90 78 56 34 12>
console.log(buf);
// noAssert 值为 true 时，不再验证 value 和 offset 的有效性。 默认是 false。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
buf.writeUIntBE(value, offset, byteLength[, noAssert])将 value 写入到 buffer 里， 它由 offset 和 byteLength 决定，最高支持 48 位无符号整数，大端对齐。noAssert 值为 true 时，不再验证 value 和 offset 的有效性。 默认是 false。
const buf = Buffer.allocUnsafe(6);
buf.writeUIntBE(0x1234567890ab, 0, 6);
// 输出: <Buffer 12 34 56 78 90 ab>
console.log(buf);
- 1
- 2
- 3
- 4
- 5
- 6
buf.writeIntLE(value, offset, byteLength[, noAssert])将value 写入到 buffer 里， 它由offset 和 byteLength 决定，最高支持48位有符号整数，小端对齐。noAssert 值为 true 时，不再验证 value 和 offset 的有效性。 默认是 false。buf.writeIntBE(value, offset, byteLength[, noAssert])将value 写入到 buffer 里， 它由offset 和 byteLength 决定，最高支持48位有符号整数，大端对齐。noAssert 值为 true 时，不再验证 value 和 offset 的有效性。 默认是 false。buf.readUIntLE(offset, byteLength[, noAssert])支持读取 48 位以下的无符号数字，小端对齐。noAssert 值为 true 时， offset 不再验证是否超过 buffer 的长度，默认为 false。buf.readUIntBE(offset, byteLength[, noAssert])支持读取 48 位以下的无符号数字，大端对齐。noAssert 值为 true 时， offset 不再验证是否超过 buffer 的长度，默认为 false。buf.readIntLE(offset, byteLength[, noAssert])支持读取 48 位以下的有符号数字，小端对齐。noAssert 值为 true 时， offset 不再验证是否超过 buffer 的长度，默认为 false。buf.readIntBE(offset, byteLength[, noAssert])支持读取 48 位以下的有符号数字，大端对齐。noAssert 值为 true 时， offset 不再验证是否超过 buffer 的长度，默认为 false。buf.toString([encoding[, start[, end]]])根据 encoding 参数（默认是 ‘utf8’）返回一个解码过的 string 类型。还会根据传入的参数 start (默认是 0) 和 end (默认是 buffer.length)作为取值范围。buf.toJSON()将 Buffer 实例转换为 JSON 对象。buf[index]获取或设置指定的字节。返回值代表一个字节，所以返回值的合法范围是十六进制0x00到0xFF 或者十进制0至 255。buf.equals(otherBuffer)比较两个缓冲区是否相等，如果是返回 true，否则返回 false。buf.compare(otherBuffer)比较两个 Buffer 对象，返回一个数字，表示 buf 在 otherBuffer 之前，之后或相同。buf.copy(targetBuffer[, targetStart[, sourceStart[, sourceEnd]]])buffer 拷贝，源和目标可以相同。 targetStart 目标开始偏移和 sourceStart 源开始偏移默认都是 0。 sourceEnd 源结束位置偏移默认是源的长度 buffer.length 。buf.slice([start[, end]])剪切 Buffer 对象，根据 start(默认是 0 ) 和 end (默认是 buffer.length ) 偏移和裁剪了索引。 负的索引是从 buffer 尾部开始计算的。buf.readUInt8(offset[, noAssert])根据指定的偏移量，读取一个无符号 8 位整数。若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 如果这样 offset 可能会超出buffer 的末尾。默认是 false。buf.readUInt16LE(offset[, noAssert])根据指定的偏移量，使用特殊的 endian 字节序格式读取一个无符号 16 位整数。若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。buf.readUInt16BE(offset[, noAssert])根据指定的偏移量，使用特殊的 endian 字节序格式读取一个无符号 16 位整数，大端对齐。若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。buf.readUInt32LE(offset[, noAssert])根据指定的偏移量，使用指定的 endian 字节序格式读取一个无符号 32 位整数，小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。buf.readUInt32BE(offset[, noAssert])根据指定的偏移量，使用指定的 endian 字节序格式读取一个无符号 32 位整数，大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。buf.readInt8(offset[, noAssert])根据指定的偏移量，读取一个有符号 8 位整数。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。buf.readInt16LE(offset[, noAssert])根据指定的偏移量，使用特殊的 endian 格式读取一个 有符号 16 位整数，小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。buf.readInt16BE(offset[, noAssert])根据指定的偏移量，使用特殊的 endian 格式读取一个 有符号 16 位整数，大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。buf.readInt32LE(offset[, noAssert])根据指定的偏移量，使用指定的 endian 字节序格式读取一个有符号 32 位整数，小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。buf.readInt32BE(offset[, noAssert])根据指定的偏移量，使用指定的 endian 字节序格式读取一个有符号 32. `位整数，大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。buf.readFloatLE(offset[, noAssert])根据指定的偏移量，使用指定的 endian 字节序格式读取一个 32 位双浮点数，小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer的末尾。默认是 false。buf.readFloatBE(offset[, noAssert])根据指定的偏移量，使用指定的 endian 字节序格式读取一个 32 位双浮点数，大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer的末尾。默认是 false。buf.readDoubleLE(offset[, noAssert])根据指定的偏移量，使用指定的 endian字节序格式读取一个 64 位双精度数，小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。buf.readDoubleBE(offset[, noAssert])根据指定的偏移量，使用指定的 endian字节序格式读取一个 64 位双精度数，大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。buf.writeUInt8(value, offset[, noAssert])根据传入的 offset 偏移量将 value 写入 buffer。注意：value 必须是一个合法的无符号 8 位整数。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则不要使用。默认是 false。buf.writeUInt16LE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意：value 必须是一个合法的无符号 16 位整数，小端对齐。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。buf.writeUInt16BE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意：value 必须是一个合法的无符号 16 位整数，大端对齐。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。buf.writeUInt32LE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式(LITTLE-ENDIAN:小字节序)将 value 写入buffer。注意：value 必须是一个合法的无符号 32 位整数，小端对齐。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着value 可能过大，或者offset可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。buf.writeUInt32BE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式(Big-Endian:大字节序)将 value 写入buffer。注意：value 必须是一个合法的有符号 32 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者offset可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。buf.writeInt8(value, offset[, noAssert])buf.writeInt16LE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意：value 必须是一个合法的 signed 16 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false 。buf.writeInt16BE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意：value 必须是一个合法的 signed 16 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false 。buf.writeInt32LE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意：value 必须是一个合法的 signed 32 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。buf.writeInt32BE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意：value 必须是一个合法的 signed 32 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。buf.writeFloatLE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer 。注意：当 value 不是一个 32 位浮点数类型的值时，结果将是不确定的。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value可能过大，或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。- `buf.writeFloatBE(value, offset[, noAssert])
根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer 。注意：当 value 不是一个 32 位浮点数类型的值时，结果将是不确定的。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value可能过大，或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。 buf.writeDoubleLE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意：value 必须是一个有效的 64 位double 类型的值。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出 buffer 的末尾从而造成value被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。buf.writeDoubleBE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意：value 必须是一个有效的 64 位double 类型的值。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大，或者 offset 可能会超出 buffer 的末尾从而造成value被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用。默认是 false。buf.fill(value[, offset][, end])使用指定的 value 来填充这个 buffer。如果没有指定 offset (默认是 0) 并且 end (默认是 buffer.length) ，将会填充整个buffer。
