第三章 HuggingFace 指标评价工具、pipeline管道工具_huggingface 的qa数据集如何评估

指标评价工具

HuggingFace提供了统一的评价指标工具，训练和测试一个模型时往往需要计算不同的评价指标，如正确率、查准率、查全率、F1值等，具体需要的指标往往和处理的数据集、任务类型有关。
Hugging Face Datasets 库中的 list_metrics 函数用于列出可用的评估指标（metrics）。这些评估指标通常用于评估模型在特定任务上的性能。例如，在文本分类任务中，常用的评估指标包括准确率（accuracy）、精确率（precision）、召回率（recall）和 F1 分数等。
通过调用 list_metrics() 函数，您可以获取 Hugging Face Datasets 库中当前支持的所有评估指标的列表。这样您就可以在训练或评估模型时选择适当的指标来衡量其性能。

from datasets import list_metrics
    # 获取可用评估指标列表
    metrics_list = list_metrics()
    # 打印可用评估指标
    print(f"Available metrics:{len(metrics_list)}")

    for metric in metrics_list:
        print(metric)
1
2
3
4
5
6
7
8

Available metrics:227
accuracy
bertscore
bleu
bleurt
brier_score
cer
character
charcut_mt
chrf
...
1
2
3
4
5
6
7
8
9
10
11