【编译原理】词法分析器（C语言编写实现）_词法分析器c语言编写

一个简单的词法分析器
输入：所给文法的源程序字符串。
输出：二元组（syn,token或sum）构成的序列。其中，
syn为单词种别码。
Token为存放的单词自身字符串。
Sum为整型常量。
具体实现时，可以将单词的二元组用结构进行处理。

1）关键字

main if then while do static int double struct break else
long switch case typedef char return const float short
continue for void default sizeof do

所有的关键字都是小写。
2）运算符和界符

   + - * /  : := <  <>  <=  >  >=  =  ; (  )  #
1

3）其他标记ID和NUM
通过以下正规式定义其他标记：

ID→letter(letter|digit)*
NUM→digit digit*
letter→a|…|z|A|…|Z
digit→0|…|9…
1
2
3
4

4）空格由空白、制表符和换行符组成
空格一般用来分隔ID、NUM、专用符号和关键字，词法分析阶段通常被忽略。
4、各种单词符号对应的种别码
表1 各种单词符号的种别码

单词符号   种别码       单词符号   种别码       
main       1                ;        41     
if         2             (           42      
then       3             )           43      
while      4             int         7 
do         5             double      8   
static     6             struct      9   
ID         25            break       10  
NUM        26            else        11  
+          27            long        12  
-          28            switch      13 
*          29            case        14     
/         30            typedef     15
:          31            char        16
:=         32            return      17
<          33            const       18
<>         34            float       19
<=         35            short       20
>          36            continue    21
>=         37            for         22
=          38            void        23
default     39           sizeof      24
do          40           #            0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

```cpp
#include<iostream>
#include<stdio.h>
#include<string.h>
#include<stdlib.h>
using namespace std;
//存放处理后的字符串
char tempstr[255]= {};
//空格标志
bool temp=false;
//临时数组
char word[255]= {};
//keyword关键字
string Keyword[26]= {
	"main","if","then","while","do",
	"static","defualt","do","int","double",
	"struct","break","else","long","swtich",
	"case","typedf","char","return","const",
	"float","short","continue","for","void",
	"sizeof"
};
char Symbol2[12]= {'+','-','*','/','=',';','(',')','#',':','<','>'};
int IsSymbol2(char ch) {
	for(int i=0; i<12; i++) {
		if(ch==Symbol2[i])
			return 1;
	}
	return -1;
}
int Keyword_num[26]= {1,2,3,4,5,6,39,40,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24};
//运算符，定界符等
char Symbol[9]= {'+','-','*','/','=',';','(',')','#'};
//对应的种码值
int Symbol_num[9]= {27,28,29,30,38,41,42,43,0};
//判断是否为字母
bool IsChar(char ch) {
	if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z'))
		return true;
	return false;
}
//判断是否为数字
bool IsDigit(char ch) {
	if(ch>='0'&&ch<='9')
		return true;
	return false;
}
//判断是否为定界符等
int IsSymbol(char ch) {
	for(int i=0; i<9; i++) {
		if(ch==Symbol[i])
			return i;
	}
	return -1;
}
//判断是否为关键字
int IsKeyword(string str) {
	for(int i=0; i<26; i++) {
		if(str==Keyword[i]) {
			return i;
		}
	}
	//不是关键字即为ID
	return 25;
}
//空格处理
void Space(char a[]) {
	int j=0;
	memset(word,0,255);//清空上次残留
	temp=false;
	for(int i=0; i<strlen(a); i++) {
		if(a[i]!=' ' && a[i]!='\t') {
			word[j++]=a[i];
			temp=false;
		} else {
			if(!temp&&a[i]!='\t') {
				word[j++]=a[i];
				temp=true;
			}
		}
	}
}
//处理"//"注释
void prePro() {
	int j=0;
	memset(tempstr,0,255);
	for(int i=0; i<strlen(word); i++) {
		if(word[i]=='/'&&word[i+1]=='/') {
			while(i<strlen(word)) {
				i++;
			}
		} else {
			tempstr[j++]=word[i];
		}

	}
}
int main() {
	char instr[255]= {}; //接收输入字符串
	bool flag=false;	 //多行注释标志,false为未处于注释区域
	string Token;		//存放字符串
	char *str=NULL;		//存放每行的字符串
	char delims[]=" ";	//分割标志
	//freopen("词法分析器测试.cpp","r",stdin);
	//freopen("result.txt","w",stdout);
	while((gets(instr))!=NULL) {
		Space(instr);
//		for(int i=0; i<strlen(word); i++)
//			printf("%c",word[i]);
//		printf("\n");
		prePro();
//		for(int i=0; i<strlen(tempstr); i++)
//			printf("%c",tempstr[i]);
//		printf("\n");
		str=strtok(tempstr,delims);//分割字符串
		while(str!=NULL) {

			for(int i=0; i<strlen(str); i++) {
				if(*(str+i)=='/') {
					if(*(str+i+1)=='*') {
						flag=true;
					}
				}
				//注释处理: */,注释区域结束
				if(*(str+i)=='*'&&flag) {
					if(*(str+i+1)=='/') {
						flag=false;
						i=i+2;
					}
				}
				//头文件，宏定义
//				if(*(str)=='#'&&(!flag)) {
//				}
				//以"_"开头的违法标识符
				if(*(str+i)=='_'&&(!flag)) {
					while(IsChar(*(str+i))||IsDigit(*(str+i))||*(str+i)=='_') {
						Token+=*(str+i);
						i++;
					}
					printf("<违法标识符,%s>\n",Token.c_str());
					Token="";
				}
				//标识符，关键词
				if(IsChar(*(str+i))&&(!flag)) {
					//printf("进入标识符判断\n");
					while(IsChar(*(str+i))||IsDigit(*(str+i))||*(str+i)=='_') {
						Token+=*(str+i);
						i++;
					}
					if(IsKeyword(Token)!=25) {
						printf("<%d,%s>\n",Keyword_num[IsKeyword(Token)],Token.c_str());
					} else printf("<25,%s>\n",Token.c_str());
					Token="";
					//printf("结束标识符判断\n");
				}

				if(IsDigit(*(str+i))&&(!flag)) {
					//printf("进入数字判断\n");
					while(IsDigit(*(str+i))) {
						Token+=*(str+i);
						//此处可以使用atoi(Token) 将Token转化为Sum整型常量
						i++;
					}
					//数字开头的违法标识符
					if((IsSymbol2(*(str+i))==-1)&&i<strlen(str)) {
						while(IsChar(*(str+i))||IsDigit(*(str+i))||*(str+i)=='_') {
							Token+=*(str+i);
							i++;
						}
						printf("<违法标识符,%s>\n",Token.c_str());
					} else {
						int number = atoi(Token.c_str());
						//二进制输出 
						int b[32];int k;int a=0;int z=0;
						while(number!=0){
							k=number%2;
							b[a++]=k;
							number=number/2;
							z++;
						}
						printf("<26,");
						for(int i=z-1;i>=0;i--)
							printf("%d",b[i]);
						printf(">\n",b[i]);				
					}
					Token="";
				}
				//<,<=,<>判断
				if(*(str+i)=='<'&&(!flag)) {
					if(*(str+i+1)=='=')    {
						printf("<35,<=>\n");
						i++;
					}
					else if(*(str+i+1)=='>')    {
						printf("<34,<>>\n");
						i++;
					} else printf("<33,<>\n");
				}
				//>,>=判断
				else if(*(str+i)=='>'&&(!flag)) {
					if(*(str+i+1)=='=') {
						printf("<37,>>\n");
					} else printf("<36,>>\n");
				}
				//:,:=判断
				else  if(*(str+i)==':'&&(!flag)) {
					if(*(str+i+1)=='=') {
						printf("<32,:=>\n");
						i++;
					} else printf("<31,:>\n");
				} else if(*(str+i)=='/'&&(!flag)&&*(str+i+1)=='*') {
					flag=true;
				} else if(*(str+i)=='*'&&*(str+i+1)=='/'&&flag) {
					flag=false;
					i=i+2;
				}
				//定界符等判断
				else if(IsSymbol(*(str+i))!=-1&&(!flag)) {
					printf("<%d,%c>\n",Symbol_num[IsSymbol(*(str+i))],*(str+i));
				}
			}
			str=strtok(NULL,delims);
		}
	}
	return 0;
	system("pause");
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228