一个小技巧 N-garm_ngarm算法

page = """整体上差别不大，就是pytorch中dot只能针对一维数组，也就是shape为(m,)这样的矩阵，而如果是多维数组则需要使用mm，需要注意的是无论是numpy，cupy还是pytorch，矩阵的直接 “*”都是哈达玛积，也就是各位相乘不求和，而dot或者mm才是正常的矩阵相乘，也就是我们初高中熟悉的“正经”的矩阵乘法，需要注意。

可以看到，torch和numpy之间的差异性很小，如果使用cuda，直接把数据.cuda()到gpu上，那么接下去的运算就都会自动在gpu上运行了，贼方便。

"""

relambda = re.compile(r"[^\u4e00-\u9fa5-\^a-z^A-Z^0-9^，^。]")
strings = re.sub(relambda,"",page)
tokenization = list(filter(lambda x : x not in ['，'],jieba.cut(strings)))

def Ngarm(n=2):
    math = __import__("math")
    return np.array([tokenization[i:i+2] for i in range(math.ceil(len(tokenization)/n))])
Ngarm(2)
1
2
3
4
5
6
7
8
9
10
11
12
13
14