2024年Go最新情感分析——深入snownlp原理和实践，2024年最新「架构师必备_snownlp gpu

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

P

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

P

(

w

1

,

⋯

,

w

n

∣

c

2

)

⋅

P

(

c

2

)

P\left ( c_1\mid w_1,\cdots ,w_n \right )=\frac{P\left ( w_1,\cdots , w_n\mid c_1 \right )\cdot P(c_1)}{P\left ( w_1,\cdots ,w_n\mid c_1 \right )\cdot P\left ( c_1 \right )+P\left ( w_1,\cdots ,w_n\mid c_2\right )\cdot P\left ( c_2\right )}

对上述的公式简化：

P(c1∣w1,⋯,wn)=P(w1,⋯,wn∣c1)⋅P(c1)P(w1,⋯,wn∣c1)⋅P(c1)+P(w1,⋯,wn∣c2)⋅P(c2)=11+P(w1,⋯,wn∣c2)⋅P(c2)P(w1,⋯,wn∣c1)⋅P(c1)=11+exp[log(P(w1,⋯,wn∣c2)⋅P(c2)P(w1,⋯,wn∣c1)⋅P(c1))]=11+exp[log(P(w1,⋯,wn∣c2)⋅P(c2))−log(P(w1,⋯,wn∣c1)⋅P(c1))]

P

(

c

1

∣

w

1

,

⋯

,

w

n

)

=

P

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

P

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

P

(

w

1

,

⋯

,

w

n

∣

c

2

)

⋅

P

(

c

2

)

=

1

1

P

(

w

1

,

⋯

,

w

n

∣

c

2

)

⋅

P

(

c

2

)

P

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

=

1

1

e

x

p

[

l

o

g

(

P

(

w

1

,

⋯

,

w

n

∣

c

2

)

⋅

P

(

c

2

)

P

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

)

]

=

1

1

e

x

p

[

l

o

g

(

P

(

w

1

,

⋯

,

w

n

∣

c

2

)

⋅

P

(

c

2

)

)

−

l

o

g

(

P

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

)

]

$$\begin{align*} P\left ( c_1\mid w_1,\cdots ,w_n \right ) &= \frac{P\left ( w_1,\cdots , w_n\mid c_1 \right )\cdot P(c_1)}{P\left ( w_1,\cdots ,w_n\mid c_1 \right )\cdot P\left ( c_1 \right )+P\left ( w_1,\cdots ,w_n\mid c_2\right )\cdot P\left ( c_2\right )}\ &= \frac{1}{1+\frac{P\left ( w_1,\cdots ,w_n\mid c_2\right )\cdot P\left ( c_2\right )}{P\left ( w_1,\cdots ,w_n\mid c_1\right )\cdot P\left ( c_1\right )}}\ &= \frac{1}{1+exp\left [ log\left ( \frac{P\left ( w_1,\cdots ,w_n\mid c_2\right )\cdot P\left ( c_2\right )}{P\left ( w_1,\cdots ,w_n\mid c_1\right )\cdot P\left ( c_1\right )} \right ) \right ]}\ &= \frac{1}{1+exp\left [ log\left ( P\left ( w_1,\cdots ,w_n\mid c_2\right )\cdot P\left ( c_2\right ) \right )-log\left ( P\left ( w_1,\cdots ,w_n\mid c_1\right )\cdot P\left ( c_1\right ) \right ) \right ]} \end{align*}$$

其中，分母中的1可以改写为：

1=exp[log(P(w1,⋯,wn∣c1)⋅P(c1))−log(P(w1,⋯,wn∣c1)⋅P(c1))]

1

=

e

x

p

[

l

o

g

(

P

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

)

−

l

o

g

(

P

(

w

1

,

⋯

,

w

n

∣

c

1

)

⋅

P

(

c

1

)

)

]

1=exp\left [ log\left ( P\left ( w_1,\cdots ,w_n\mid c_1\right )\cdot P\left ( c_1\right ) \right )-log\left ( P\left ( w_1,\cdots ,w_n\mid c_1\right )\cdot P\left ( c_1\right ) \right ) \right ]

上述过程对应的代码如下所示：

def classify(self, x):
    tmp = {}
    for k in self.d: # 正类和负类
        tmp[k] = log(self.d[k].getsum()) - log(self.total) # 正类/负类的和的log函数-所有之和的log函数
        for word in x:
            tmp[k] += log(self.d[k].freq(word)) # 词频，不存在就为0
    ret, prob = 0, 0
    for k in self.d:
        now = 0
        try:
            for otherk in self.d:
                now += exp(tmp[otherk]-tmp[k])
            now = 1/now
        except OverflowError:
            now = 0
        if now > prob:
            ret, prob = k, now
    return (ret, prob)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

其中，第一个for循环中的tmp[k]对应了公式中的
log(P(ck))

l

o

g

(

P

(

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

c

1

)

⋅

P

(

c

1

)

)

]

1=exp\left [ log\left ( P\left ( w_1,\cdots ,w_n\mid c_1\right )\cdot P\left ( c_1\right ) \right )-log\left ( P\left ( w_1,\cdots ,w_n\mid c_1\right )\cdot P\left ( c_1\right ) \right ) \right ]

上述过程对应的代码如下所示：

def classify(self, x):
    tmp = {}
    for k in self.d: # 正类和负类
        tmp[k] = log(self.d[k].getsum()) - log(self.total) # 正类/负类的和的log函数-所有之和的log函数
        for word in x:
            tmp[k] += log(self.d[k].freq(word)) # 词频，不存在就为0
    ret, prob = 0, 0
    for k in self.d:
        now = 0
        try:
            for otherk in self.d:
                now += exp(tmp[otherk]-tmp[k])
            now = 1/now
        except OverflowError:
            now = 0
        if now > prob:
            ret, prob = k, now
    return (ret, prob)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

其中，第一个for循环中的tmp[k]对应了公式中的
log(P(ck))

l

o

g

(

P

(

[外链图片转存中…(img-iddyTMpC-1715388205946)]
[外链图片转存中…(img-afs5TJVS-1715388205947)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！