java实现中文分词

IK Analyzer是基于lucene实现的分词开源框架

下载路径：http://so.csdn.net/so/search/s.do?q=IKAnalyzer2012.jar&t=doc&o=&s=all&l=null

需要在项目中引入：

  IKAnalyzer2012.jar

  lucene-core-3.6.0.jar

实现的两种方法：

使用(lucene)实现：

import java.io.IOException;
import java.io.StringReader;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

public class Fenci1 {
    public static void main(String[] args) throws IOException{
        String text="你好，我的世界！";  
        StringReader sr=new StringReader(text);  
        IKSegmenter ik=new IKSegmenter(sr, true);  
        Lexeme lex=null;  
        while((lex=ik.next())!=null){  
            System.out.print(lex.getLexemeText()+"，");  
        } 
    }

}

 

使用(IK Analyzer)实现:

import java.io.IOException;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class Fenci {
    public static void main(String[] args) throws IOException {
            String text="你好，我的世界!";  
            //创建分词对象  
            Analyzer anal=new IKAnalyzer(true);       
            StringReader reader=new StringReader(text);  
            //分词  
            TokenStream ts=anal.tokenStream("", reader);  
            CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);  
            //遍历分词数据  
            while(ts.incrementToken()){  
                System.out.print(term.toString()+"，");  
            }  
            reader.close();  
            System.out.println(); 
    }

}

运行后结果:

你好,我,的,世界,