devbox
凡人多烦事01
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

C语言实现简单的词法分析器（eclipse）_c语言词法分析简单代码

作者：凡人多烦事01 | 2024-03-23 09:06:48

赞

踩

c语言词法分析简单代码

C语言实现简单的词法分析器

词法分析

词法分析是编译的第一个阶段，其任务是：从左至右对原程序进行扫描，产生一个个单词符号。

C语言子集的单词符号表

对常用有限个单词进行编码

（1）identify_char:标识符
（2）include等：关键词
（3）+ - * /：操作符
（4）{ }等：分界符
（5）# 等：程序不能识别的字符
注：本段程序只能分析出下表给出的字符
单词符号表

词法分析的状态转换图如下

词法分析的状态转换图

根据词法分析器的状态装换图可以设计词法分析程序的框架：

（1）判断是否为关键字，字母，数字。

bool isKey(char * token);//keyword
bool isLetter(char letter);//letter
bool isDigit(char digit);//digit

  • 1
  • 2
  • 3

（2）通过代码访问文件，文件指针依次扫描文件中的字符，如果文件指针遇到（\t,\n,’ '）,程序什么都不做，将得到的字符串进行判断，文件指针向后退一格，准备读下一个字符串。
（3）对使用到的文件函数进行说明

//1.
/*从文件指针fgetc(stream)指向的文件读取一个字符，读取一个字节后，光标位置后移一个字节
 * format： int fgetc(FILE*stream)
 * 函数返回得到的字符值
 * 读到结尾或者读到错误，返回EOF
 * EOF是一个有效的整型值
 * 二进制文件使用feof函数进行结束检测
 * 用ferror函数进行出错检查
 //2.
 * /*int fseek(FILE*stream,long offset,int fromwhere),调整文件当前指针
 * 若果函数成功执行，stream指针将指向以fromwhere为基准，偏移offset个字节的位置，函数返回0
 * 若果函数执行失败(offset的值大于等于2*1024*1024*1024，即long的整数范围为2G)，函数返回非零值
 * 偏移起始位置：文件头0(SEEK_SET)
 * 当前位置：当前位置1(SEEK_CUR)
 * 文件尾2(SEEK_END)*/
*/

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

（4）详细注释在代码在代码注释中。

测试文件：

分析文件

词法分析程序源代码

编译环境：eclipse + MinGW

#include<stdio.h>
#include<string.h>
#define bool int
#define true 1
#define false 0
#define MAX 11
char ch = ' ';
char* keyWord[11] = {"include","main","void","break","int","float","if","else","while","printf","for"};
char token[20];//定义获取的字符
//判断是否是关键字
bool isKey(char * token)
{
    for(int i = 0;i < MAX;i++)
    {
        if(strcmp(token,keyWord[i]) == 0)
            return true;
    }
    return false;
}
//判断是否是字母
bool isLetter(char letter)
{
    if((letter >= 'a' && letter <= 'z')||(letter >= 'A' && letter <= 'Z'))
        return true;
    else
        return false;
}
//判断是否是数字
bool isDigit(char digit)
{
    if(digit >= '0' && digit <= '9')
        return true;
    else
        return false;
}
//1.
/*从文件指针fgetc(stream)指向的文件读取一个字符，读取一个字节后，光标位置后移一个字节
 * format： int fgetc(FILE*stream)
 * 函数返回得到的字符值
 * 读到结尾或者读到错误，返回EOF
 * EOF是一个有效的整型值
 * 二进制文件使用feof函数进行结束检测
 * 用ferror函数进行出错检查
*/
void analyze(FILE *fpin)
{

    while((ch = fgetc(fpin)) != EOF){
        if(ch == ' '||ch == '\t'||ch == '\n'){}//读到空字符，空格，换行符什么都不做
        else if(isLetter(ch)){
            char token[20]={'\0'};
            int i=0;
            while(isLetter(ch)||isDigit(ch)){
                token[i] = ch;
                i++;
                ch = fgetc(fpin);//读下一个字符
            }
            //回退一个指针
            /*int fseek(FILE*stream,long offset,int fromwhere),调整文件当前指针
             * 若果函数成功执行，stream指针将指向以fromwhere为基准，偏移offset个字节的位置，函数返回0
             * 若果函数执行失败(offset的值大于等于2*1024*1024*1024，即long的整数范围为2G)，函数返回非零值*
             * 偏移起始位置：文件头0(SEEK_SET)
             * 当前位置：当前位置1(SEEK_CUR)
             * 文件尾2(SEEK_END)*/
            fseek(fpin,-1L,SEEK_CUR);//文件指针停留在空字符，空格，换行符的位置上
            if(isKey(token)){
                //关键字
            	int i,j;
            	 for( i = 0;i < MAX;i++)
            	    {
            	        if(strcmp(token,keyWord[i]) == 0)j=i;
                } printf("%s\t%d\tkeyword\n",token,j);
            }
            else{
                //标识符
                printf("%s\t4\tidentify_char\n",token);
            }
        }
        else if(isDigit(ch)||(ch == '.'))
        {
            int i=0;
            char token[20]={'\0'};//清空缓冲数组；但文件指针还在；即读入下一个字符
            while(isDigit(ch)||(ch == '.'&&isDigit(fgetc(fpin))))
            {
                if(ch == '.')fseek(fpin,-1L,SEEK_CUR);
                token[i] = ch;
                i++;
                ch = fgetc(fpin);
            }
            fseek(fpin,-1L,SEEK_CUR);
            //属于无符号常数
            printf("%s\t11\tconstant\n",token);
            fflush(stdout);
        }
        else switch(ch){
            //运算符
            case '+':{
                        ch = fgetc(fpin);
                        if(ch == '+')
                        	{
                        	printf("++\t12\toperator\n");
                        	fflush(stdout);

                        	}
                        else {

                            printf("+ \t13\toperator\n");
                            fflush(stdout);
                            fseek(fpin,-1L,SEEK_CUR);
                        }
                     }break;
            case '-':{
                        ch = fgetc(fpin);
                        if(ch == '-')
                        	{
                        	printf("--\t14\toperator\n");
                        	fflush(stdout);

                        	}
                        else {

                        	printf("- \t15\toperator\n");
                        	fflush(stdout);
                            fseek(fpin,-1L,SEEK_CUR);
                        }
                     }break;
            case '*':printf("%c\t16\toperateor\n",ch);break;
            case '/':printf("%c\t17\toperateor\n",ch);break;
            //分界符
            case '(':printf("%c\t18\tboundary\n",ch);break;
            case ')':printf("%c\t19\tboundary\n",ch);break;
            case '[':printf("%c\t20\tboundary\n",ch);break;
            case ']':printf("%c\t21\tboundary\n",ch);break;
            case ';':printf("%c\t22\tboundary\n",ch);break;
            case '{':printf("%c\t23\tboundary\n",ch);break;
            case '}':printf("%c\t24\tboundary\n",ch);break;
            case '#':printf("%c\t25\tboundary\n",ch);break;
            //运算符
            case '=':{
                        ch = fgetc(fpin);
                        if(ch == '=')printf("==\t26\toperator\n");
                        else {
                        	printf("= \t27\toperator\n");
                            fseek(fpin,-1L,SEEK_CUR);
                        }
                     }break;
            case ':':{
                        ch = fgetc(fpin);
                        if(ch == '=')printf(":=\t28\toperator\n");
                        else {
                        	printf(": \t29\toperator\n");;
                            fseek(fpin,-1L,SEEK_CUR);
                        }
                     }break;
            case '>':{
                        ch = fgetc(fpin);
                        if(ch == '=')printf(">=\t30\toperator\n");
                        else {
                        	printf("> \t31\toperator\n");;
                            fseek(fpin,-1L,SEEK_CUR);
                        }
                     }break;
            case '<':{
                        ch = fgetc(fpin);
                        if(ch == '=')printf("<=\t32\toperator\n");
                        else {
                        	printf("< \t33\toperator\n");
                            fseek(fpin,-1L,SEEK_CUR);
                        }
                     }break;
            //无识别
            default: printf("%c\t34\tno_recognition\n",ch);
        }
    }
}
int main(){
    char input[30];
    FILE *fpin;
    printf("Please input the path of file that you want to compile:(C:\...)\n ");
    fflush(stdout);
    scanf("%s",input);
    if((fpin = fopen(input,"r")) != NULL)
        {
        	printf("File open success!\n");
        }
    else
        {
            printf("Path Error!\n\n");
            fflush(stdout);
        }
    printf("****************Lexical analysis start*********************\n");
    analyze(fpin);
    printf("****************Lexical analysis finish********************\n");
    fclose(fpin);
    printf("File close success!");
    return 0;
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146
  • 147
  • 148
  • 149
  • 150
  • 151
  • 152
  • 153
  • 154
  • 155
  • 156
  • 157
  • 158
  • 159
  • 160
  • 161
  • 162
  • 163
  • 164
  • 165
  • 166
  • 167
  • 168
  • 169
  • 170
  • 171
  • 172
  • 173
  • 174
  • 175
  • 176
  • 177
  • 178
  • 179
  • 180
  • 181
  • 182
  • 183
  • 184
  • 185
  • 186
  • 187
  • 188
  • 189
  • 190
  • 191
  • 192
  • 193
  • 194
  • 195
  • 196
  • 197
调试结果：

结果1
结果2
参考资料：
[1]:https://www.cnblogs.com/ya-qiang/p/8987926.html

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/294300
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号