自动转换文件编码：从GBK到UTF-8 20240321_gbk转utf8

在全球化的应用开发过程中，处理和维护不同字符编码的文件是一个常见的挑战。尤其是当我们需要将旧系统中使用GBK编码的数据迁移到支持UTF-8编码的新系统时，这个问题变得尤为突出。本文分享了一个简单的Python脚本，它可以帮助您自动将文件从GBK编码转换为UTF-8编码，确保数据的正确性和可用性。

背景

在处理多语言数据时，不同的字符编码可能会导致数据解析错误或乱码问题。GBK编码曾经是中文环境下广泛使用的字符编码之一，而UTF-8则因其对国际化支持的优势而成为现代应用的首选。为了确保数据顺利迁移，需要将存储或编码为GBK的文件转换为UTF-8格式。

Python脚本分享

以下是我编写的Python脚本，它可以递归地遍历指定目录下的所有文件，并将它们从GBK编码转换为UTF-8编码。

import os
import sys

def convert_file_encoding(source_path, target_encoding='UTF-8', source_encoding='GBK'):
    try:
        with open(source_path, 'r', encoding=source_encoding, errors='ignore') as f:
            content = f.read()
        with open(source_path, 'w', encoding=target_encoding, newline='\n') as f:
            f.write(content)
        print(f"Converted {source_path}")
    except Exception as e:
        print(f"Error converting {source_path}: {e}")

def convert_folder_recursively(folder_path):
    for root, dirs, files in os.walk(folder_path):
        for file in files:
            file_path = os.path.join(root, file)
            convert_file_encoding(file_path)

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print("Usage: python script.py <path_to_folder>")
        sys.exit(1)

    target_folder_path = sys.argv[1]
    if not os.path.isdir(target_folder_path):
        print(f"The path {target_folder_path} does not exist or is not a directory.")
        sys.exit(2)

    convert_folder_recursively(target_folder_path)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

如何使用

要使用这个脚本，将上述代码保存为convert_file_encoding.py，然后在命令行中运行以下命令：

python convert_file_encoding.py /path/to/your/target/folder
1

这将自动遍历指定目录（及其子目录）下的所有文件，将它们从GBK编码转换为UTF-8编码。

代码解析

此脚本主要包含两个函数：convert_file_encoding和convert_folder_recursively。第一个函数负责打开单个文件，读取其内容，并以UTF-8编码重新写入。第二个函数则遍历指定目录下的所有文件，并对每个文件调用convert_file_encoding函数进行转码。