devbox
从前慢现在也慢
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

词法分析二（词法分析程序）_编写一个将输入的源代码识别出词法分析的二元组,并且输出。

作者：从前慢现在也慢 | 2024-03-23 08:46:02

赞

踩

编写一个将输入的源代码识别出词法分析的二元组,并且输出。

1、词法分析功能

输入：所给文法的源程序字符串。

输出：二元组（syn,token或sum）构成的序列。其中，

 syn为单词种别码。

 Token为存放的单词自身字符串。

 Sum为整型常量。

具体实现时，可以将单词的二元组用结构进行处理。

2、待分析的C语言子集的词法

1）关键字

main  if  then  while  do  static  int  double  struct  break  else  long  switch  case  typedef  char  return  const  float  short  continue  for  void  default  sizeof

所有的关键字都是小写。

2）运算符和界符

 +  -  *  /  : <  <>  <=  >  >=  =  ; (  )  #

3）其他标记ID和NUM

通过以下正规式定义其他标记：

ID→letter(letter|digit)*

NUM→digit digit*

letter→a|…|z|A|…|Z

digit→0|…|9…

4）空格由空白、制表符和换行符组成

空格一般用来分隔ID、NUM、专用符号和关键字，词法分析阶段通常被忽略。

3、各种单词符号对应的种别码

表1   各种单词符号的种别码

单词符号   种别码       单词符号   种别码      单词符号   种别码      单词符号   种别码      单词符号   种别码      

#                  0               else        11               for               22           ==               33            )                 44

main            1               long        12               void             23           <                 34           {                 45 

if                  2               switch      13              default        24           <>                35            }                46

then            3                case        14               sizeof         25           <=               36             ,                47

while           4                typedef     15              ID               26           >                 37          

do               5                 char        16               NUM           27           >=               38

static           6                 return      17              +                 28            =                39          

int               7                 const       18               -                 29             [                40     

double        8                 float       19                 *                 30             ]                41    

struct          9                 short       20                /                 31             ;                42     

break         10                continue    21             **               32          （                 43

  

 上述为一些基本符号，可以自己另加。

 

状态转换图：

 

代码：

  1. #include <iostream>
  2. #include <stdio.h>
  3. #include <stdlib.h>
  4. #include <cstring>
  5. #include <string>
  6. using namespace std;
  7.  
  8. FILE *fp;			// 文件指针，处理源文件 
  9. char *ScanBuffer;	// 扫描缓冲区，一分为二，每次一半存放预处理后的字符串
  10. int capacity;		// 扫描缓冲区容量 
  11. int BufferFlag;		// 状态标志，0 表示使用缓冲区的左半区，1 表示使用右半区
  12. int	PreprocessFlag;	// 预处理的状态标志
  13. string rwtab[25]={"main","if","then","while","do"," static",
  14. 	"int"," double","struct","break","else","long","switch",
  15. 	"case","typedef","char","return","const","float","short",
  16. 	"continue","for","void","default","sizeof"};
  17.  
  18. // init fp, ScanBuffer, BufferFlag,SP,EP,PreprocessFlag
  19. void init(){
  20. 	fp = fopen("test.txt","r");
  21. 	if(fp == NULL) exit(0);
  22. 	capacity = 120; 
  23. 	ScanBuffer = new char[capacity];				// 缓冲区分配长度 ：120。 
  24. 	memset(ScanBuffer,0,sizeof(ScanBuffer));
  25. 	BufferFlag = 0; 
  26. 	PreprocessFlag = 0;
  27. }
  28.  
  29. void close(){
  30. 	fclose(fp);
  31. 	delete ScanBuffer;
  32. }
  33.  
  34. void Preprocess(){
  35. 	//参见词法分析一
  36. }
  37.  
  38.  
  39. /* 
  40. 分析器变量 
  41. 	SP： 	分析器的起点指示器 
  42. 	EP： 	分析器的搜索指示器
  43. 	syn：	种别编码
  44. 	token： 存放一个处理的字符串
  45. 	sum：	常量
  46. 	status：状态 
  47. */
  48.  
  49. int SP = 0;			int EP = 0;			
  50. int syn = -1;		string token = "";
  51. int sum = 0;		int status = 0;
  52.  
  53. // 字母 
  54. int IsLetter(char c){
  55. 	if(c >= 'a' && c <= 'z' || c >= 'A' && c <= 'Z') return 1;
  56. 	return 0;
  57. }
  58.  
  59. //数字 
  60. int IsDigit(char c){
  61. 	if(c >= '0' && c <= '9') return 1;
  62. 	return 0;
  63. } 
  64.  
  65. // 关键字或者是变量 
  66. void Key(){
  67. 	token = "";
  68. 	if(SP < EP){
  69. 		for(int i = SP; i < EP; i++) token.push_back(ScanBuffer[i]);
  70. 	}else{
  71. 		for(int i = SP; i < capacity; i++) token.push_back(ScanBuffer[i]);
  72. 		for(int i = 0; i < EP; i++) token.push_back(ScanBuffer[i]);
  73. 	}
  74. 	for(int i = 0; i < 25; i++) if(token.compare(rwtab[i]) == 0) {syn = i+1; return;}
  75. 	syn = 26; return;
  76. }
  77.  
  78. void Number(){
  79. 	sum = 0;
  80. 	if(SP < EP){
  81. 		for(int i = SP; i < EP; i++) sum = sum * 10 + ScanBuffer[i] - '0';
  82. 	}else{
  83. 		for(int i = SP; i < capacity; i++) sum = sum * 10 + ScanBuffer[i] - '0';
  84. 		for(int i = 0; i < EP; i++) sum = sum * 10 + ScanBuffer[i] - '0';
  85. 	}
  86. 	syn = 27;
  87. }
  88.  
  89. // 不合法变量的处理，例如以数字开头的变量
  90. void InvalidToken(){
  91. 	token = "";
  92. 	if(SP < EP){
  93. 		for(int i = SP; i < EP; i++) token.push_back(ScanBuffer[i]);
  94. 	}else{
  95. 		for(int i = SP; i < capacity; i++) token.push_back(ScanBuffer[i]);
  96. 		for(int i = 0; i < EP; i++) token.push_back(ScanBuffer[i]);
  97. 	}
  98. 	while(IsLetter(ScanBuffer[EP]) || IsDigit(ScanBuffer[EP])) {token.push_back(ScanBuffer[EP]); EP++;}
  99. }
  100.  
  101. // 单个字符 ，例如‘<’
  102. void OneCharacter(){
  103. 	switch(status){
  104. 		case 11: syn = 39; break;
  105. 		case 16: syn = 30; break;
  106. 		case 22: syn = 34; break;
  107. 		case 24: syn = 37; break;
  108. 	}
  109. }
  110. // 双字符 ，例如‘<=’
  111. void TwoCharacter(){
  112. 	switch(status){
  113. 		case 12: syn = 33; break;
  114. 		case 17: syn = 32; break;
  115. 		case 20: syn = 35; break;
  116. 		case 21: syn = 36; break;
  117. 		case 25: syn = 38; break;
  118. 	}
  119. }
  120.  
  121. void CharacterMatch(char ch){
  122. 	switch(ch){
  123. 		case ' ': break;
  124. 		case ';': {status = 5; syn = 42; break;}
  125. 		case '(': {status = 6; syn = 43; break;}
  126. 		case ')': {status = 7; syn = 44; break;}
  127. 		case '[': {status = 8; syn = 40; break;}
  128. 		case ']': {status = 9; syn = 41; break;}
  129. 		case '{': {status = 27;syn = 45; break;}
  130. 		case '}': {status = 28;syn = 46; break;}
  131. 		case ',': {status = 29;syn = 47; break;}
  132. 		case '+': {status = 13;syn = 28; break;}
  133. 		case '-': {status = 14;syn = 29; break;}
  134. 		case '/': {status = 18;syn = 31; break;}
  135. 		case '#': {status = 26;syn = 0;  break;}
  136. 		case '=': {status = 10; break;}
  137. 		case '*': {status = 15; break;}
  138. 		case '<': {status = 19; break;}
  139. 		case '>': {status = 23; break;}
  140. 		default:  {status = -1; break;}
  141. 	}
  142. }
  143.  
  144. void StatusHandle(){
  145. 	switch(status){
  146. 		case -2: {
  147. 			InvalidToken(); cout<<"invalid token: "<<token<<endl; status = 0; SP = EP;break;
  148. 		}
  149. 		case -1: {
  150. 			printf("invalid character: %c\n",ScanBuffer[EP]); EP++; status = 0; SP = EP;break;
  151. 		}
  152. 		case 1: case 3: case 10: case 15: case 19: case 23:{
  153. 			EP++; break;
  154. 		}
  155. 		case 0:{
  156. 			EP++; SP = EP; break;
  157. 		}
  158. 		case 2:{
  159. 			Key(); cout<<"("<<syn<<","<<token<<")"<<endl; SP = EP; status = 0; break;
  160. 		}
  161. 		case 4:{
  162. 			Number();cout<<"("<<syn<<","<<sum<<")"<<endl; SP = EP; status = 0; break;
  163. 		}
  164. 		case 5:case 6:case 7:case 8:case 9:case 13:case 14:case 18:case 26:case 27:case 28:case 29:{
  165. 			cout<<"("<<syn<<","<<ScanBuffer[SP]<<")"<<endl; EP++; SP = EP; status = 0; break;
  166. 		}
  167. 		case 11: case 16: case 22: case 24:{
  168. 			 OneCharacter(); cout<<"("<<syn<<","<<ScanBuffer[SP]<<")"<<endl; SP++; EP = SP; status = 0; break;
  169. 		}
  170. 		case 12: case 17: case 20: case 21: case 25:{
  171. 			TwoCharacter(); 
  172. 			cout<<"("<<syn<<","<<ScanBuffer[SP]<<ScanBuffer[EP]<<")"<<endl; 
  173. 			EP++; SP = EP; 
  174. 			status = 0; break;
  175. 		}
  176. 	}
  177. }
  178.  
  179. // 状态转换图
  180. void Analyse(char ch){
  181. 	switch(status){
  182. 		case 0:{
  183. 			if(IsLetter(ch)) status = 1;
  184. 			else if(IsDigit(ch)) status = 3;
  185. 			else CharacterMatch(ch);
  186. 			break;
  187. 		}
  188. 		case 1:{
  189. 			if(IsLetter(ch) || IsDigit(ch)) break;
  190. 			else status = 2; break;
  191. 		}
  192. 		case 3:{
  193. 			if(IsDigit(ch)) break;
  194. 			else if(IsLetter(ch)){
  195. 				status = -2; break;
  196. 			}else {
  197. 				status = 4; break;
  198. 			}
  199. 		}
  200. 		case 10:{
  201. 			if(ch == '=') {status = 12; break;}
  202. 			else status = 11; break;
  203. 		}
  204. 		case 15:{
  205. 			if(ch == '*') {status = 17; break;}
  206. 			else status = 16; break;
  207. 		}
  208. 		case 19:{
  209. 			if(ch == '>') {status = 20; break;}
  210. 			else if(ch == '='){status = 21; break;}
  211. 			else status = 23;break;
  212. 		}
  213. 		case 23:{
  214. 			if(ch == '=') {status = 25; break;}
  215. 			else status = 24; break;
  216. 		}
  217. 	}
  218. 	StatusHandle();
  219. }
  220.  
  221. void Analyzer(){
  222. 	while(!feof(fp)){
  223. 		Preprocess(); 	BufferFlag = BufferFlag ^ 1;
  224. 		if(BufferFlag){
  225. 			EP = 0; // 使用左半缓冲区
  226. 			if(SP == capacity) SP = 0;  // 防止SP越界
  227. 			while(ScanBuffer[EP] != -1 && EP < capacity/2){
  228. 				Analyse(ScanBuffer[EP]);
  229. 			}
  230. 		}else{
  231. 			while(ScanBuffer[EP] != -1 && EP < capacity){
  232. 				Analyse(ScanBuffer[EP]);
  233. 			}
  234. 		}
  235. 	}
  236. }
  237.  
  238. int main(){
  239. 	init();
  240. 	Analyzer();
  241. 	close();
  242. 	return 0;
  243. }

      

测试用例：

// 单行注释

/*
    多行注释
*/
int ArraySum(int **a, int m, int n){
    int 9sum = 0;
    for(int i = 0; i < m; i = i + 1){
        for(int j = 0; j < n; j = j + 1){
            sum = sum + a[i][j];
        }
    }
    return sum;
}

 

测试结果：

          

      

 

 

 


       

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/294220
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号