尝试搭建Chargpt_自建chargpt

如果您位于中国大陆，建议使用清华镜像站下载 Python 和 TensorFlow 等软件包，以加快下载速度。同时，在安装和配置 TensorFlow 时，还应注意考虑一些特殊的网络连接和环境设置问题。

以下是国内搭建 CharGPT 的基本步骤：

下载代码：利用 Git 客户端从 GitHub 上 Clone CharGPT 开源项目到您的本地计算机中（https://github.com/CLUEbenchmark/CharCEP）。

安装并配置 Python、TensorFlow 和其他依赖项：在终端上运行以下指令：

sudo pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

这将会通过 Tsinghua Pipy 镜像站安装所需模块。而且因为 tensorflow 模块相对较大，建议单独执行 :

    sudo pip install tensorflow==1.15.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

下载数据集：同样地，直接打开官方网站，并下载 CharCEP 数据集，并将其解压缩到 data 文件夹中。

训练并验证：针对数据集，利用 train.py 脚本提交训练任务，并检查每个 epoch 是否提升了验证损失值。确保训练过程没有任何错误或异常情况发生。可以按以下方式启动训练过程：

CUDA_VISIBLE_DEVICES=0 python train.py \
   --model_name gpt_char_ce_p \
   --do_train True \
   --use_tpu False \
   --tpu_name None \
   --num_epochs 20 \
   --batch_size 32 \
   --gpu_index 0 \
   --dropout_rate 0.1 \
   --learning_rate 5e-6 \
   --save_summary_steps 100 \
   --save_checkpoint_steps 1000 \
   --log_step_count_steps 50 \ 
   --output_dir ./tmp/gpt_$MODEL_NAME/

执行推理：使用 infer.py 脚本运行 CharGPT 的生成任务，并查看输出。以下是一些样例值供您参考：

CUDA_VISIBLE_DEVICES=0 python infer.py \
   --model_name gpt_char_ce_p \
   --init_checkpoint ./tmp/gpt_gpt_char_ce_p/ckpt-... \
   --decode_strategy topk \
   --beam_size 1 \
   --top_k 10 \
   --max_decode_len 128 \
   --temperature 0.6
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

以上步骤需要耐心等待，因为 TensorFlow 受计算机和网络条件的影响较大。如果出现错误或其他问题，请检查日志文件以获取详细信息，并调整代码中的超参数、模型结构等选项来优化您的结果。