devbox
从前慢现在也慢
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

10大Java开源中文分词器的使用方法和分词效果对比_java 分词器

作者：从前慢现在也慢 | 2024-05-22 21:22:27

赞

踩

java 分词器

原文地址：http://my.oschina.net/apdplat/blog/412921

本文的目标有两个：

1、学会使用10大Java开源中文分词器

2、对比分析10 大Java开源中文分词器的分词效果

本文给出了10大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。

10大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样， 我们先定义一个统一的接口：

  1. /**
  2.  * 获取文本的所有分词结果, 对比不同分词器结果
  3.  * @author 杨尚川
  4.  */
  5. public interface WordSegmenter {
  6.     /**
  7.      * 获取文本的所有分词结果
  8.      * @param text 文本
  9.      * @return 所有的分词结果，去除重复
  10.      */
  11.     default public Set<String> seg(String text) {
  12.         return segMore(text).values().stream().collect(Collectors.toSet());
  13.     }
  14.     /**
  15.      * 获取文本的所有分词结果
  16.      * @param text 文本
  17.      * @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果
  18.      */
  19.     public Map<String, String> segMore(String text);
  20. }

public interface WordSegmenter {
    /**
     * 获取文本的所有分词结果
     * @param text 文本
     * @return 所有的分词结果，去除重复
     */
    default public Set<String> seg(String text) {
        return segMore(text).values().stream().collect(Collectors.toSet());
    }
    /**
     * 获取文本的所有分词结果
     * @param text 文本
     * @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果
     */
    public Map<String, String> segMore(String text);
}

从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。

这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。

在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。

下面我们利用这10大分词器来实现这个接口：

1、word分词器

  1. @Override
  2. public Map<String, String> segMore(String text) {
  3.   Map<String, String> map = new HashMap<>();
  4.   for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){
  5.     map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));
  6.   }
  7.   return map;
  8. }
  9. private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {
  10.   StringBuilder result = new StringBuilder();
  11.   for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){
  12.     result.append(word.getText()).append(" ");
  13.   }
  14.   return result.toString();
  15. }
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){
    map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));
  }
  return map;
}
private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {
  StringBuilder result = new StringBuilder();
  for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){
    result.append(word.getText()).append(" ");
  }
  return result.toString();
}

2、Ansj分词器

  1. @Override
  2. public Map<String, String> segMore(String text) {
  3.   Map<String, String> map = new HashMap<>();
  4.   StringBuilder result = new StringBuilder();
  5.   for(Term term : BaseAnalysis.parse(text)){
  6.     result.append(term.getName()).append(" ");
  7.   }
  8.   map.put("BaseAnalysis", result.toString());
  9.   result.setLength(0);
  10.   for(Term term : ToAnalysis.parse(text)){
  11.     result.append(term.getName()).append(" ");
  12.   }
  13.   map.put("ToAnalysis", result.toString());
  14.   result.setLength(0);
  15.   for(Term term : NlpAnalysis.parse(text)){
  16.     result.append(term.getName()).append(" ");
  17.   }
  18.   map.put("NlpAnalysis", result.toString());
  19.   result.setLength(0);
  20.   for(Term term : IndexAnalysis.parse(text)){
  21.     result.append(term.getName()).append(" ");
  22.   }
  23.   map.put("IndexAnalysis", result.toString());
  24.   return map;
  25. }
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  StringBuilder result = new StringBuilder();
  for(Term term : BaseAnalysis.parse(text)){
    result.append(term.getName()).append(" ");
  }
  map.put("BaseAnalysis", result.toString());
  result.setLength(0);
  for(Term term : ToAnalysis.parse(text)){
    result.append(term.getName()).append(" ");
  }
  map.put("ToAnalysis", result.toString());
  result.setLength(0);
  for(Term term : NlpAnalysis.parse(text)){
    result.append(term.getName()).append(" ");
  }
  map.put("NlpAnalysis", result.toString());
  result.setLength(0);
  for(Term term : IndexAnalysis.parse(text)){
    result.append(term.getName()).append(" ");
  }
  map.put("IndexAnalysis", result.toString());
  return map;
}

3、Stanford分词器

  1. private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");
  2. private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");
  3. private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);
  4. public Map<String, String> segMore(String text) {
  5.   Map<String, String> map = new HashMap<>();
  6.   map.put("Stanford Beijing University segmentation", seg(PKU, text));
  7.   map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));
  8.   return map;
  9. }
  10. private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){
  11.   PrintStream err = System.err;
  12.   System.setErr(NULL_PRINT_STREAM);
  13.   Annotation document = new Annotation(text);
  14.   stanfordCoreNLP.annotate(document);
  15.   List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);
  16.   StringBuilder result = new StringBuilder();
  17.   for(CoreMap sentence: sentences) {
  18.     for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {
  19.       String word = token.get(CoreAnnotations.TextAnnotation.class);;
  20.       result.append(word).append(" ");
  21.     }
  22.   }
  23.   System.setErr(err);
  24.   return result.toString();
  25. }
 static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");
private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");
private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  map.put("Stanford Beijing University segmentation", seg(PKU, text));
  map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));
  return map;
}
private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){
  PrintStream err = System.err;
  System.setErr(NULL_PRINT_STREAM);
  Annotation document = new Annotation(text);
  stanfordCoreNLP.annotate(document);
  List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);
  StringBuilder result = new StringBuilder();
  for(CoreMap sentence: sentences) {
    for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {
      String word = token.get(CoreAnnotations.TextAnnotation.class);;
      result.append(word).append(" ");
    }
  }
  System.setErr(err);
  return result.toString();
}

4、FudanNLP分词器

  1. private static CWSTagger tagger = null;
  2. static{
  3.   try{
  4.     tagger = new CWSTagger("lib/fudannlp_seg.m");
  5.     tagger.setEnFilter(true);
  6.   }catch(Exception e){
  7.     e.printStackTrace();
  8.   }
  9. }
  10. @Override
  11. public Map<String, String> segMore(String text) {
  12.   Map<String, String> map = new HashMap<>();
  13.   map.put("FudanNLP", tagger.tag(text));
  14.   return map;
  15. }
 static CWSTagger tagger = null;
static{
  try{
    tagger = new CWSTagger("lib/fudannlp_seg.m");
    tagger.setEnFilter(true);
  }catch(Exception e){
    e.printStackTrace();
  }
}
@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  map.put("FudanNLP", tagger.tag(text));
  return map;
}

5、Jieba分词器

  1. private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();
  2. @Override
  3. public Map<String, String> segMore(String text) {
  4.   Map<String, String> map = new HashMap<>();
  5.   map.put("INDEX", seg(text, SegMode.INDEX));
  6.   map.put("SEARCH", seg(text, SegMode.SEARCH));
  7.   return map;
  8. }
  9. private static String seg(String text, SegMode segMode) {
  10.   StringBuilder result = new StringBuilder();				
  11.   for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){
  12.     result.append(token.word.getToken()).append(" ");
  13.   }
  14.   return result.toString(); 
  15. }
 static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();
@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  map.put("INDEX", seg(text, SegMode.INDEX));
  map.put("SEARCH", seg(text, SegMode.SEARCH));
  return map;
}
private static String seg(String text, SegMode segMode) {
  StringBuilder result = new StringBuilder();				
  for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){
    result.append(token.word.getToken()).append(" ");
  }
  return result.toString(); 
}

6、Jcseg分词器

  1. private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();
  2. private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);
  3. static {
  4.   CONFIG.setLoadCJKSyn(false);
  5.   CONFIG.setLoadCJKPinyin(false);
  6. }
  7. @Override
  8. public Map<String, String> segMore(String text) {
  9.   Map<String, String> map = new HashMap<>();
  10.   map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));
  11.   map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));
  12.   return map;
  13. }
  14. private String segText(String text, int segMode) {
  15.   StringBuilder result = new StringBuilder();		
  16.   try {
  17.     ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});
  18.     IWord word = null;
  19.     while((word=seg.next())!=null) {		 
  20.       result.append(word.getValue()).append(" ");
  21.     }
  22.   } catch (Exception ex) {
  23.     throw new RuntimeException(ex);
  24.   }
  25.   return result.toString();
  26. }
 static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();
private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);
static {
  CONFIG.setLoadCJKSyn(false);
  CONFIG.setLoadCJKPinyin(false);
}
@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));
  map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));
  return map;
}
private String segText(String text, int segMode) {
  StringBuilder result = new StringBuilder();		
  try {
    ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});
    IWord word = null;
    while((word=seg.next())!=null) {		 
      result.append(word.getValue()).append(" ");
    }
  } catch (Exception ex) {
    throw new RuntimeException(ex);
  }
  return result.toString();
}

7、MMSeg4j分词器

  1. private static final Dictionary DIC = Dictionary.getInstance();
  2. private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);
  3. private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);
  4. private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);
  5. @Override
  6. public Map<String, String> segMore(String text) {
  7.   Map<String, String> map = new HashMap<>();
  8.   map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));
  9.   map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));
  10.   map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));
  11.   return map;
  12. }
  13. private String segText(String text, Seg seg) {
  14.   StringBuilder result = new StringBuilder();
  15.   MMSeg mmSeg = new MMSeg(new StringReader(text), seg);		
  16.   try {
  17.     Word word = null;
  18.     while((word=mmSeg.next())!=null) {	   
  19.       result.append(word.getString()).append(" ");
  20.     }
  21.   } catch (IOException ex) {
  22.     throw new RuntimeException(ex);
  23.   }
  24.   return result.toString();
  25. }
 static final Dictionary DIC = Dictionary.getInstance();
private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);
private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);
private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);
@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));
  map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));
  map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));
  return map;
}
private String segText(String text, Seg seg) {
  StringBuilder result = new StringBuilder();
  MMSeg mmSeg = new MMSeg(new StringReader(text), seg);		
  try {
    Word word = null;
    while((word=mmSeg.next())!=null) {	   
      result.append(word.getString()).append(" ");
    }
  } catch (IOException ex) {
    throw new RuntimeException(ex);
  }
  return result.toString();
}

8、IKAnalyzer分词器

  1. @Override
  2. public Map<String, String> segMore(String text) {
  3.   Map<String, String> map = new HashMap<>();
  4.   map.put("智能切分", segText(text, true));
  5.   map.put("细粒度切分", segText(text, false));
  6.   return map;
  7. }
  8. private String segText(String text, boolean useSmart) {
  9.   StringBuilder result = new StringBuilder();
  10.   IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);		
  11.   try {
  12.     Lexeme word = null;
  13.     while((word=ik.next())!=null) {		  
  14.       result.append(word.getLexemeText()).append(" ");
  15.     }
  16.   } catch (IOException ex) {
  17.     throw new RuntimeException(ex);
  18.   }
  19.   return result.toString();
  20. }

public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  map.put("智能切分", segText(text, true));
  map.put("细粒度切分", segText(text, false));
  return map;
}
private String segText(String text, boolean useSmart) {
  StringBuilder result = new StringBuilder();
  IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);		
  try {
    Lexeme word = null;
    while((word=ik.next())!=null) {		  
      result.append(word.getLexemeText()).append(" ");
    }
  } catch (IOException ex) {
    throw new RuntimeException(ex);
  }
  return result.toString();
}

9、Paoding分词器

  1. private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();
  2. @Override
  3. public Map<String, String> segMore(String text) {
  4.   Map<String, String> map = new HashMap<>();
  5.   map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));
  6.   map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));
  7.   return map;
  8. }
  9. private static String seg(String text, int mode){
  10.   ANALYZER.setMode(mode);
  11.   StringBuilder result = new StringBuilder();
  12.   try {
  13.     Token reusableToken = new Token();
  14.     TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));
  15.     Token token = null;
  16.     while((token = stream.next(reusableToken)) != null){
  17.       result.append(token.term()).append(" ");
  18.     }
  19.   } catch (Exception ex) {
  20.     throw new RuntimeException(ex);
  21.   }
  22.   return result.toString();		  
  23. }
 static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();
@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));
  map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));
  return map;
}
private static String seg(String text, int mode){
  ANALYZER.setMode(mode);
  StringBuilder result = new StringBuilder();
  try {
    Token reusableToken = new Token();
    TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));
    Token token = null;
    while((token = stream.next(reusableToken)) != null){
      result.append(token.term()).append(" ");
    }
  } catch (Exception ex) {
    throw new RuntimeException(ex);
  }
  return result.toString();		  
}

10、smartcn分词器

  1. private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();
  2. @Override
  3. public Map<String, String> segMore(String text) {
  4.   Map<String, String> map = new HashMap<>();
  5.   map.put("smartcn", segText(text));
  6.   return map;
  7. }
  8. private static String segText(String text) {
  9.   StringBuilder result = new StringBuilder();
  10.   try {
  11.     TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));
  12.     tokenStream.reset();
  13.     while (tokenStream.incrementToken()){
  14.       CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);
  15.       result.append(charTermAttribute.toString()).append(" ");
  16.     }
  17.     tokenStream.close();
  18.   }catch (Exception e){
  19.     e.printStackTrace();
  20.   }
  21.   return result.toString();
  22. }
 static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();
@Override
public Map<String, String> segMore(String text) {
  Map<String, String> map = new HashMap<>();
  map.put("smartcn", segText(text));
  return map;
}
private static String segText(String text) {
  StringBuilder result = new StringBuilder();
  try {
    TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));
    tokenStream.reset();
    while (tokenStream.incrementToken()){
      CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);
      result.append(charTermAttribute.toString()).append(" ");
    }
    tokenStream.close();
  }catch (Exception e){
    e.printStackTrace();
  }
  return result.toString();
}

现在我们已经实现了本文的第一个目的：学会使用10大Java开源中文分词器。

最后我们来实现本文的第二个目的：对比分析 10 大Java开源中文分词器的分词效果，程序如下：

  1. public static Map<String, Set<String>> contrast(String text){
  2.   Map<String, Set<String>> map = new LinkedHashMap<>();
  3.   map.put("word分词器", new WordEvaluation().seg(text));
  4.   map.put("Stanford分词器", new StanfordEvaluation().seg(text));
  5.   map.put("Ansj分词器", new AnsjEvaluation().seg(text));
  6.   map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text));
  7.   map.put("Jieba分词器", new JiebaEvaluation().seg(text));
  8.   map.put("Jcseg分词器", new JcsegEvaluation().seg(text));
  9.   map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text));
  10.   map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text));
  11.   map.put("Paoding分词器", new PaodingEvaluation().seg(text));
  12.   map.put("smartcn分词器", new SmartCNEvaluation().seg(text));
  13.   return map;
  14. }
  15. public static Map<String, Map<String, String>> contrastMore(String text){
  16.   Map<String, Map<String, String>> map = new LinkedHashMap<>();
  17.   map.put("word分词器", new WordEvaluation().segMore(text));
  18.   map.put("Stanford分词器", new StanfordEvaluation().segMore(text));
  19.   map.put("Ansj分词器", new AnsjEvaluation().segMore(text));
  20.   map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text));
  21.   map.put("Jieba分词器", new JiebaEvaluation().segMore(text));
  22.   map.put("Jcseg分词器", new JcsegEvaluation().segMore(text));
  23.   map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text));
  24.   map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text));
  25.   map.put("Paoding分词器", new PaodingEvaluation().segMore(text));
  26.   map.put("smartcn分词器", new SmartCNEvaluation().segMore(text));
  27.   return map;
  28. }
  29. public static void show(Map<String, Set<String>> map){
  30.   map.keySet().forEach(k -> {
  31.     System.out.println(k + " 的分词结果：");
  32.     AtomicInteger i = new AtomicInteger();
  33.     map.get(k).forEach(v -> {
  34.       System.out.println("\t" + i.incrementAndGet() + " 、" + v);
  35.     });
  36.   });
  37. }
  38. public static void showMore(Map<String, Map<String, String>> map){
  39.   map.keySet().forEach(k->{
  40.     System.out.println(k + " 的分词结果：");
  41.     AtomicInteger i = new AtomicInteger();
  42.     map.get(k).keySet().forEach(a -> {
  43.       System.out.println("\t" + i.incrementAndGet()+ " 、【"   + a + "】\t" + map.get(k).get(a));
  44.     });
  45.   });
  46. }
  47. public static void main(String[] args) {
  48.   show(contrast("杨尚川是APDPlat应用级产品开发平台的作者"));
  49.   showMore(contrastMore("杨尚川是APDPlat应用级产品开发平台的作者"));
  50. }
 static Map<String, Set<String>> contrast(String text){
  Map<String, Set<String>> map = new LinkedHashMap<>();
  map.put("word分词器", new WordEvaluation().seg(text));
  map.put("Stanford分词器", new StanfordEvaluation().seg(text));
  map.put("Ansj分词器", new AnsjEvaluation().seg(text));
  map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text));
  map.put("Jieba分词器", new JiebaEvaluation().seg(text));
  map.put("Jcseg分词器", new JcsegEvaluation().seg(text));
  map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text));
  map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text));
  map.put("Paoding分词器", new PaodingEvaluation().seg(text));
  map.put("smartcn分词器", new SmartCNEvaluation().seg(text));
  return map;
}
public static Map<String, Map<String, String>> contrastMore(String text){
  Map<String, Map<String, String>> map = new LinkedHashMap<>();
  map.put("word分词器", new WordEvaluation().segMore(text));
  map.put("Stanford分词器", new StanfordEvaluation().segMore(text));
  map.put("Ansj分词器", new AnsjEvaluation().segMore(text));
  map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text));
  map.put("Jieba分词器", new JiebaEvaluation().segMore(text));
  map.put("Jcseg分词器", new JcsegEvaluation().segMore(text));
  map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text));
  map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text));
  map.put("Paoding分词器", new PaodingEvaluation().segMore(text));
  map.put("smartcn分词器", new SmartCNEvaluation().segMore(text));
  return map;
}
public static void show(Map<String, Set<String>> map){
  map.keySet().forEach(k -> {
    System.out.println(k + " 的分词结果：");
    AtomicInteger i = new AtomicInteger();
    map.get(k).forEach(v -> {
      System.out.println("\t" + i.incrementAndGet() + " 、" + v);
    });
  });
}
public static void showMore(Map<String, Map<String, String>> map){
  map.keySet().forEach(k->{
    System.out.println(k + " 的分词结果：");
    AtomicInteger i = new AtomicInteger();
    map.get(k).keySet().forEach(a -> {
      System.out.println("\t" + i.incrementAndGet()+ " 、【"   + a + "】\t" + map.get(k).get(a));
    });
  });
}
public static void main(String[] args) {
  show(contrast("杨尚川是APDPlat应用级产品开发平台的作者"));
  showMore(contrastMore("杨尚川是APDPlat应用级产品开发平台的作者"));
}

运行结果如下：

  1. word分词器 的分词结果：
  2.   1 、杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  3.   2 、杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  4.   3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  5.   4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
  6. Stanford分词器 的分词结果：
  7.   1 、杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  8.   2 、杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  9. Ansj分词器 的分词结果：
  10.   1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  11.   2 、杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  12.   3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  13.   4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
  14. FudanNLP分词器 的分词结果：
  15.   1 、杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者
  16. Jieba分词器 的分词结果：
  17.   1 、杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 
  18.   2 、杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 
  19. Jcseg分词器 的分词结果：
  20.   1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  21.   2 、杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  22. MMSeg4j分词器 的分词结果：
  23.   1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  24. IKAnalyzer分词器 的分词结果：
  25.   1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  26. Paoding分词器 的分词结果：
  27.   1 、杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者
  28. smartcn分词器 的分词结果：
  29.   1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平 台 的 作者
  1 、杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  2 、杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
Stanford分词器 的分词结果：
  1 、杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  2 、杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
Ansj分词器 的分词结果：
  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  2 、杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
FudanNLP分词器 的分词结果：
  1 、杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者
Jieba分词器 的分词结果：
  1 、杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 
  2 、杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 
Jcseg分词器 的分词结果：
  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  2 、杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
MMSeg4j分词器 的分词结果：
  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
IKAnalyzer分词器 的分词结果：
  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
Paoding分词器 的分词结果：
  1 、杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者
smartcn分词器 的分词结果：
  1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平 台 的 作者
  1. word分词器 的分词结果：
  2.   1 、【全切分算法】	杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  3.   2 、【双向最大最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  4.   3 、【正向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  5.   4 、【双向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  6.   5 、【逆向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  7.   6 、【正向最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  8.   7 、【双向最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  9.   8 、【逆向最小匹配算法】	杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
  10. Stanford分词器 的分词结果：
  11.   1 、【Stanford Chinese Treebank segmentation】	杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  12.   2 、【Stanford Beijing University segmentation】	杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  13. Ansj分词器 的分词结果：
  14.   1 、【BaseAnalysis】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  15.   2 、【IndexAnalysis】	杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  16.   3 、【ToAnalysis】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  17.   4 、【NlpAnalysis】	杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
  18. FudanNLP分词器 的分词结果：
  19.   1 、【FudanNLP】	杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者
  20. Jieba分词器 的分词结果：
  21.   1 、【SEARCH】	杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 
  22.   2 、【INDEX】	杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 
  23. Jcseg分词器 的分词结果：
  24.   1 、【简易模式】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  25.   2 、【复杂模式】	杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  26. MMSeg4j分词器 的分词结果：
  27.   1 、【SimpleSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  28.   2 、【ComplexSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  29.   3 、【MaxWordSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  30. IKAnalyzer分词器 的分词结果：
  31.   1 、【智能切分】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  32.   2 、【细粒度切分】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  33. Paoding分词器 的分词结果：
  34.   1 、【MAX_WORD_LENGTH_MODE】	杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者 
  35.   2 、【MOST_WORDS_MODE】	杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者
  36. smartcn分词器 的分词结果：
  37.   1 、【smartcn】	杨 尚 川 是 apdplat 应用 级 产品 开发 平 台 的 作者
  1 、【全切分算法】	杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  2 、【双向最大最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  3 、【正向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  4 、【双向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  5 、【逆向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
  6 、【正向最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  7 、【双向最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  8 、【逆向最小匹配算法】	杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
Stanford分词器 的分词结果：
  1 、【Stanford Chinese Treebank segmentation】	杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
  2 、【Stanford Beijing University segmentation】	杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
Ansj分词器 的分词结果：
  1 、【BaseAnalysis】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  2 、【IndexAnalysis】	杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  3 、【ToAnalysis】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  4 、【NlpAnalysis】	杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
FudanNLP分词器 的分词结果：
  1 、【FudanNLP】	杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者
Jieba分词器 的分词结果：
  1 、【SEARCH】	杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 
  2 、【INDEX】	杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 
Jcseg分词器 的分词结果：
  1 、【简易模式】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  2 、【复杂模式】	杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
MMSeg4j分词器 的分词结果：
  1 、【SimpleSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  2 、【ComplexSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  3 、【MaxWordSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
IKAnalyzer分词器 的分词结果：
  1 、【智能切分】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
  2 、【细粒度切分】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
Paoding分词器 的分词结果：
  1 、【MAX_WORD_LENGTH_MODE】	杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者 
  2 、【MOST_WORDS_MODE】	杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者
smartcn分词器 的分词结果：
  1 、【smartcn】	杨 尚 川 是 apdplat 应用 级 产品 开发 平 台 的 作者
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/609957
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号