【NLP】自动化计算文本文件TTR的bash脚本_编写函数计算语料库中的ttr,vr

自动化计算文本文件TTR的bash脚本

简介

这是一个可以计算文本文件TTR的bash脚本，文件名为：calculate_TTR.sh。它会接收一个文件名作为参数，并输出总单词数、特异单词数和TTR。

TTR是什么

TTR（Type-Token Ratio）是用来衡量文章复杂程度的，计算方法很简单，就是一篇文章中用了多少单词（种类，去重后的）比上总共的单词数量。

$$TTR=\frac{Unique}{Total}$$

如果TTR越大就认为这篇文章的复杂性越高。

脚本代码

#!/bin/bash

# 读取文件
filename="$1"
if [ ! -f "$filename" ]; then
    echo "文件不存在或无法读取！"
    exit 1
fi

# 去除标点符号和空格，只保留单词
words=$(cat "$filename" | tr -cs '[:alnum:]' '[\n*]' | tr '[:upper:]' '[:lower:]')

# 计算总单词数量和不同单词数量
total_words=$(echo "$words" | wc -w)
unique_words=$(echo "$words" | sort | uniq | wc -w)
# -w或--words 只显示词数。
# -l或--lines 显示行数。

# 计算TTR
ttr=$(echo "scale=4; $unique_words/$total_words" | bc)
# -c或--bytes或--chars 只显示Bytes数。

# 输出结果
echo "Total: $total_words"
echo "Unique: $unique_words"
echo "TTR: $ttr"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

非脚本程序

这可以帮助理解脚本程序：

cat pubmed-a.txt |tr -cs "[:alnum:]" "\n" |tr [:upper:] [:lower:] >pubmed.a.pure.txt
wc pubmed.a.pure.txt
sort pubmed.a.pure.txt |uniq |wc
1
2
3

这是一些代码片段的具体作用：

1. cat pubmed-a.txt: 显示文件pubmed-a.txt的内容。
2. tr -cs "[:alnum:]" "\n"：使用tr命令将pubmed-a.txt中的非字母数字字符替换为换行符，保留字母数字字符。
3. tr [:upper:] [:lower:]：使用tr命令将pubmed-a.txt中的大写字母转换为小写字母。
4. > pubmed.a.pure.txt：将上一条命令的输出结果重定向到pubmed.a.pure.txt文件中。
5. wc pubmed.a.pure.txt：统计pubmed.a.pure.txt文件中的行数、单词数和字符数。
6. sort pubmed.a.pure.txt | uniq | wc：将pubmed.a.pure.txt文件中的内容按字典序排序，去重后再统计行数、单词数和字符数。

这些命令的目的是将pubmed-a.txt文件中的文本处理成纯文本格式，并统计其中的单词数、行数和字符数。其中，排序和去重操作可以用来查看pubmed-a.txt文件中不同单词的数量。

计算代码

chmod 777 calculate_TTR.sh
./calculate_TTR.sh BROWN_A.txt
./calculate_TTR.sh pubmed-a.txt
1
2
3

结果

d-a.txt

## 结果

[外链图片转存中...(img-nhbxYC5u-1677841449710)]

1
2
3
4
5