（scala）spark+jieba分词加载用户自定义词典worker端不起作用的Bug_pyspark jieba work不起作用

如果在udf外面加载用户自定义词典，我们的worker端的分词还是按照jieba自带的库进行分词，这样的分词结果肯定是不符合我们的要求（我也是在使用了很长的时间之后才发现这个问题）

我们把driver加载自定义词典放到worker去，即可解决

这样即可，不过这里需要注意的是如果，你想完全使用自己的词典，你就需要 WordDictionary.getInstance().freqs.clear()，但是这个只能清除driver端，如果想清除worker端的源词库，不能在udf里面clear()，实际情况中，写在udf里加载用户自定义词典一个worker只加载一次，但是clear()，每次记录都会清除，最后导致worker端既没有源词库也没有自定义词库，目前的解决方法是手动删除jieba的jar包中的dict.txt文件，根源上解决