中文分词模拟器C++_中文分词摸拟器

• 题目描述
  给定一个连续不包含空格字符串，该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号)，同时给定词库，对该字符串进行精确分词。
  说明：
  1.精确分词： 字符串分词后，不会出现重叠。即“ilovechina” ，不同词库可分割为 “i，love，china”“ilove，china”，不能分割出现重叠的"i，ilove，china",i 重叠出现
  2.标点符号不成词，仅用于断句
  3.词库：根据外部知识库统计出来的常用词汇例：dictionary=[“i”,“love”,“china”,“lovechina”,“ilove”],
  4.分词原则：采用分词顺序优先且最长匹配原则“ilovechina”，假设分词结果 [i,ilove,lo,love,ch,china,lovechina ] 则输出[ilove，china]
  错误输出：[i,lovechina], 原因："ilove ">优先于 "lovechina"成词
  错误输出：[i,love,china] 原因：“ilove” >“i” 遵循最长匹配原则

• 输入
  字符串长度限制：0<length<256
  词库长度限制： 1<length<100000
  第一行输入待分词语句 “ilovechina”
  第二行输入中文词库"i,love,china,ch,na,ve,lo,this,is,the,word"

• 输出描述
  按顺序输出分词结果 “i,love,china”

• 示例1
  输入
  ilovechina
  i,love,china,ch,na,ve,lo,this,is,the,word
  输出
  i,love,china

• 示例2

  输入
  iat
  i,love,china,ch,na,ve,lo,this,is,the,word,beauti,tiful,ful
  输出
  i,a,t

• 示例3

  输入
  ilovechina,thewordisbeautiful
  i,love,china,ch,na,ve,lo,this,is,the,word,beauti,tiful,ful
  输出
  i,love,china,the,word,is,beauti,ful

/*中文分词模拟器*/ 
#include <iostream>
#include <bits/stdc++.h>
using namespace std;

int main()
{
	string str;
	set<string>dic;
	string d,temp;
	getline(cin,str);
	getline(cin,d);
	for(int i=0;i<d.size();)
	{
		while(d[i]!=','&&i<d.size())
		{
			i++;
		}
		temp=d.substr(0,i);
		dic.emplace(temp);
		d.erase(0,i+1);
		i=0;
	}
	string ans="";
	int first=0,last=str.size();
	while(first!=str.size())
	{
		if(str[first]==','||str[first]=='.')
		{
			ans.erase(ans.end()-1);
			ans+=str[first];
			first++;
		}
		else if(dic.find(str.substr(first,last-first))!=dic.end()||(last-first==1))
		{
			ans+=str.substr(first,last-first);
			ans+=",";
			first=last;
			last=str.size();
		}
		else last--;
	}//核心部分
	for(int i=0;i<ans.size();)
	{
		if(ans[i]=='\''&&ans[i-1]==','&&ans[i+1]==',')
		{
			ans.erase(i-1,1);
			ans.erase(i,1);
		}
		else i++;
	}//单个分号是否单个输出
	ans.erase(ans.end()-1);
	cout<<ans<<endl;
	return 0;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

不确定带分号的单词未查询到时是否需要单个输出分号，补充注释处循环。
核心部分为从后往前检测，
当[first,last)子串匹配到字典可查单词时，加入输出队列，
未匹配到时last–，
[first,last)长度为1时，直接加入输出队列；