c语言实现词法分析器_词法分析器c语言编写

词法分析器的功能:输入源程序，输出单词字符。单词字符一般可以分为下面五种。
（1）关键字 是由程序语言定义的具有固定意义的标识符。有时称这些标识符为保留字或者基本字。例如c语言中的int,char,define,strcut,double,if,else.等等
（2）标识符 用来表示各种名字，如变量名，数组名，过程名。
（3）常数 常数的类型一般有整形，实型，布尔型等
（4）运算符 如+，-，*，/。
（5）界符 如逗号，分号，括号，%，//，等。
词法分析器的目标就是把程序分成一个一个单词。并给出单词符号的种类，以及种类值。
代码实现：
代码是贴的别人的，我在上面改善了一些实现的功能。自己发了三四个小时看明白了。自己完完全全写的确好多东西要学一下。比如一些文件的操作还不是特别的熟悉。等等呀！代码中还用到了结构体，我之前也做过一篇文章分析了，这里用结构体来实现关键字表，应该不是很难的。
普通标识符的种类编码1
无符号整数的种类编码2
“int”,的种类编码3
“char”,的种类编码4
“float”,的种类编码5
“main”,的种类编码6
“double”,的种类编码7
“case”, 的种类编码8
“for”,的种类编码9
“if”,的种类编码10
“auto”,的种类编码11
“else”,的种类编码12
“do”,的种类编码13
“while”,的种类编码14
“void”,的种类编码15
“static”, 的种类编码16
“return”,的种类编码17
“break”,的种类编码18
“struct”,的种类编码19
“const”,的种类编码20
“union”,的种类编码21
“switch”,的种类编码22
“typedef”,的种类编码23
"enum"的种类编码24
（ 的种类编码25
）的种类编码26
[ 的种类编码27
] 的种类编码28
; 的种类编码29
. 的种类编码30
, 的种类编码31
: 的种类编码32
{的种类编码33
} 的种类编码34
% 的种类编码35
" 的种类编码36
\ 的种类编码37
# 的种类编码38
/ 的种类编码39
++的种类编码41
+=的种类编码42
+的种类编码43
–的种类编码44
-=的种类编码45
-的种类编码46
*的种类编码47
=的种类编码48
>= 的种类编码49
> 的种类编码50
等
那个模块不是很清楚的话可以评论哈！！！

/*附录源程序清单：*/

#include<string.h>
#include<stdio.h>
#define   MAX 22             /*分析}表的最大容量*/
#define   RES_MAX   10        /*关键字的最大长度*/
#define   MAXBUF 255         /*缓冲区的大小*/

char   ch =' ';             /*存放读入当前的输入字符*/
int Line_NO;                /*纪录行号*/

struct keywords    /*关键字*/
{
char lexptr[MAXBUF];
int token;
};
struct keywords symtable[MAX];
char str[MAX][10]={"int","char","float","main","double","case", "for","if","auto","else","do","while","void","static", "return","break","struct","const","union","switch","typedef","enum"};

/*对关键字表进行初始化，div,mod,and,or也作为关键字处理*/
/*最小的token是program：3，最大的token是or：24*/
void init() 
{           
	int j;
	for(j=0; j<MAX; j++)
	{
	   strcpy(symtable[j].lexptr,str[j]);
	   symtable[j].token=j+3;   
	}
}

/***************对关键字进行搜索**************/
int Iskeyword(char * is_res){
   int i;
   for(i=0;i<MAX;i++){
     if((strcmp(symtable[i].lexptr,is_res))==0) break;
   }
   if(i<MAX) return   symtable[i].token;
   else return 0;
}

/*****************判断是否为字母*****************/
int IsLetter(char c)
{
   if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))) return 1;
    else return 0;
}

/*************判断是否为数字**************/
int IsDigit(char c){
   if(c>='0'&&c<='9') return 1;
   else return 0;
}

/***************分析程序**************/
void analyse(FILE *fpin,FILE *fpout){
	/* 输入缓冲区，存放一个单词符号 */
    char arr[MAXBUF];	
    int j=0;
    while((ch=fgetc(fpin))!=EOF){
    /*碰到空格、tab则跳过*/
    if(ch==' '||ch=='\t'){}
    else if(ch=='\n'){Line_NO++;}
/*********************字符串的处理*************************/
   else if(IsLetter(ch)){
       while(IsLetter(ch)|IsDigit(ch)|ch=='_'){
		   if((ch<='Z')&&(ch>='A'))     
		   		ch=ch+32;   /*忽略大小写*/
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
        }
        /*输入指针回退一个字符*/
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
       if (Iskeyword(arr)){   /*如果是关键字*/
            fprintf(fpout,"%s\t\t%d\t\t关键字\n",arr,Iskeyword(arr));
        }else   
			fprintf(fpout,"%s\t\t%d\t\t标识符\n",arr,1); /*普通标识符*/
/*************************数字的处理****************************/      
   }else if(IsDigit(ch)){
	int s=0;
      while(IsDigit(ch)|IsLetter(ch)){
		if(IsLetter(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
			s=1;
		}
	 	else if(IsDigit(ch)){
			arr[j]=ch;
            j++;
            ch=fgetc(fpin);
		}		  
    }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
	if(s==0)
		fprintf(fpout,"%s\t\t%d\t\t无符号整数\n",arr,2) ; 
	else if(s==1)
		fprintf(fpout,"%s\t\t%d\t\t错误\n",arr,3) ; 
      }else switch(ch){           
            case'+' :
            	ch=fgetc(fpin);
            	if(ch=='+'){
            		fprintf(fpout,"%s\t\t%d\t\t自加运算符\n","++",41);
            		break;
				}
				else if(ch=='='){
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","+=",42);
            		break;
				}
            	else
            		fseek(fpin,-1L,SEEK_CUR);
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","+",43);
				break;
            case'-' :
            	ch=fgetc(fpin);
            	if(ch=='-'){
            		fprintf(fpout,"%s\t\t%d\t\t自减运算符\n","--",44);
            		break;
				}
				else if(ch=='='){
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","-=",45);
            		break;
				}
            	else
            		fseek(fpin,-1L,SEEK_CUR);
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","-",46);
				break;
            case'*' :fprintf(fpout,"%s\t\t%d\t\t运算符\n","*",47);break;
            case'(' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","(",25);break;
            case')' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",")",26);break;
            case'[' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","[",27);break;
            case']' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","]",28);break;                      
            case';' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",";",29);break;
            case'=' :fprintf(fpout,"%s\t\t%d\t\t运算符\n","=",48);break;
            case'.' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",".",30);break;
            case',' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",",",31);break;
			case':' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",":",32);break; 
			case'{' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","{",33);break;
			case'}' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","}",34);break; 
			case'%' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","%",35);break;
			case'\"' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","\"",36);break;
			case'\\' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","\\",37);break;  
			case'#' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","#",38);break;
            case'>' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n",">=",49);
		        else {
					fprintf(fpout,"%s\t\t%d\t\t运算符\n",">",50);
					fseek(fpin,-1L,SEEK_CUR);
				}
    		}break;

            case'<' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n","<=",51);
		        else if(ch=='>') 
				 	fprintf(fpout,"%s\t\t%d\n","<>",52);
		        else{
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n","<",53);
				 	fseek(fpin,-1L,SEEK_CUR);}
            }break;
   /***************出现在/  /之间的全部作为注释部分处理*******************/  
               case'/' :{
			   		ch=fgetc(fpin);
			   		if(ch=='/'){
                      	while(ch!='\n'){
					 		ch=fgetc(fpin);
					  	}
					  }
				    else if(ch=='*'){
                      	while(ch!='/'&&ch!=EOF){
					 		ch=fgetc(fpin);
					  	}
                      	if(ch==EOF) 
					  		fprintf(fpout,"缺少一个'/'");}
				    else {
				   		fprintf(fpout,"%s\t\t%d\t\t运算符\n","/",39);
				   		fseek(fpin,-1L,SEEK_CUR);
						}
				   	break;
                }
   /***************非法字符*******************/                         
               default :fprintf(fpout,"在第%d行无法识别的字符\t%c\n",Line_NO,ch);
        }
    }
}
/**********主程序中完成对输入输出文件的读写***********/
int main(){
   char in_fn[25],out_fn[25];
   FILE * fpin,* fpout;  printf("<<<<<<<<<<<<<<<<<<WELCOME>>>>>>>>>>>>>>>>>>>>>>>>>>>\n");
   printf("..............词法分析程序实验......................\n");
   printf("\n");
   printf(".....目前共有词法程序范例：   1个   \n");
   printf(".....程序范例1：data.txt \n");
   printf(".....输入一个已有的程序:\n");
   scanf("%s",in_fn);
   printf(".....输入你想要保存分析的目标文件名:\n");
   scanf("%s",out_fn);
   fpin=fopen(in_fn,"r");
   fpout=fopen(out_fn,"w");
   fprintf(fpout,"单词符\t\t种类编码\t\t种类\n");
   init();
   analyse(fpin,fpout);
   fclose(fpin);
   fclose(fpout);
   printf(".....程序已分析完成分析并保存至目标文件\n");
   printf("........<谢谢使用>......\n");
   return 0;
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217

我用这个代码本身做的测试！汉字不能够分析，还有一些字符也没有加进去
如&，|。等有兴趣的小伙伴可以试试！
给大家看看结果！！！

因为加种类编码，所以可能有些混乱！看懂原理就行了！结构不是很复杂，希望对大家有所帮助。