当前位置:   article > 正文

编译原理:flex与bison--从0到1完成一个编译器(sample语言)①_flex bison

flex bison

编译原理:flex与bison–从0到1完成一个编译器(sample语言)
相关链接

编译原理:flex与bison–从0到1完成一个编译器(sample语言)〇
编译原理:flex与bison–从0到1完成一个编译器(sample语言)①
编译原理:flex与bison–从0到1完成一个编译器(sample语言)②
编译原理:flex与bison–从0到1完成一个编译器(sample语言)③
代码Github链接


前言

本系列文章共三部分,记述了我完成编译器的过程,供后来的学弟学妹参考借鉴。
本项目是我的编译原理作业,文章是由实验报告整理而来的,重在阐述,如果没有编译原理的相关知识,还要结合一些教程来看。
本项目实现的编译器包括词法分析,语法分析,语义分析与中间代码生成,目标代码生成共四个阶段,能将sample语言翻译成可执行的汇编语言。使用flex与bison工具辅助,通过C语言实现。本人能力有限,项目有许多不足和值得改进的地方,也请读者多多指正。

本文为本系列的第一部分,介绍sample语言的词法分析。

一、Sample语言简介

Sample语言是PASCAL语言的简化版本。具有一般高级语言的共同特征:它的字符集包括所有的大小写字母、数字和一些界符;有多种数据类型:整型、实型、字符型等;有变量说明和常量说明;包括顺序、条件和循环三种语句结构。
Sample语言的词法、语法定义见这里
需要注明的是,本项目中,八进制和十六进制数字并没有写在词法中,需要自己定义。

二、项目内容

本项目编写了一个对于Sample语言源代码的词法分析,并打印分析结果。使用词法分析工具Flex,并结合C语言完成。根据Sample语言文档写出了所有单词的正则表达式,利用Flex工具和C语言进行判断和分析,输出单词的行号、种别码,并能够给出错误信息。

  1. 单词识别
    扫描源程序,根据词法规则,识别单词,填写相应的 token 表。

  2. 错误处理
    如果产生词法错误,则输出出错的位置(源程序行号)以及相关的说明文字。本程序能够查出源代码中可能包含的词法错误,即出现 Sample 词法中未定义的字符以及任何不符合 Sample 词法单元定义的字符。

  3. 常量和注释识别要求
    a. 识别八进制数和十六进制数。若输入文件中包含符合词法定义的八进制数(如 0123)和十六进制数(如 0x3F),本程序能够得出相应的词法单元;若输入文件中包含不符合 词法定义的八进制数(如 09)和十六进制数(如 0x1G),本程序需要给出输入文件有词法错误的提示信息。
    b.识别指数形式的浮点数。若输入文件中包含符合词法定义的指数形式的浮点数 (如 1.05e-4),本程序需要得出相应的词法单元;若输入文件中包含不符合词法定义的指数形式的浮点数(如 1.05e),本程序需要给出输入文件有词法错误的提示信息。
    c.识别“//”和“//”形式的注释。若输入文件中包含符合定义的“//” 和“//”形式的注释,本程序能够滤除这样的注释;若输入文件中包含不符合定义的注释 (如“//”注释中缺少“/*”),程序需要给出由不符合定义的注释所引发的错误的提示信息。

三、原理与实现过程

1.词法分析

词法分析是编译的第一个阶段,它的主要任务是从左至右地逐个字符地对源程序进行扫描,产生一个个单词序列,用于词法分析。执行词法分析的程序称为词法分析程序或扫描程序。

2.步骤

首先在计算机上安装flex和tcc,将其添加到环境变量中。
根据Sample语言文档中语言单词的定义,写出标识符、整数、实数等的正则表达式。并为保留字、运算符等进行编号。
根据正则表达式和文档编写flex程序,识别单词并输出对应的编号和行号。统计其中的错误和无法识别的单词,与结尾输出。
在这里插入图片描述

对于要求一,本程序优先匹配’\n’来统计行数,每识别到一个’\n’就对行号加1。每一个单词,输出其行号。
对于要求二,本程序对文档中所有单词进行匹配,对于无法进行匹配的单词将其记录并报错。需要特别判断的是,如果一个单词以数字开头,并含有字母,这个单词会被错误地识别成一个数字和一个标识符。解决办法是对以数字开头的单词进行特判,记录并报错。
部分单词的正则表达式及操作如下:

单词正则表达式操作
换行\n行号加1
标识符[a-zA-Z][a-zA-Z0-9]*/
注释“/"(.|\n)”*/"记录注释的行数
注释“//”.*/
特殊判断[0-9]+[a-zA-Z]+[a-zA-Z0-9]*报错

部分常数的正则表达式如下。

数字类别正则表达式
八进制数0[0-7]+
十六进制数0x[0-9A-F]*
指数形式的浮点数{DIGIT}+“.”{DIGIT}+“e”(“”|“-”){DIGIT}+

对于要求三,本程序写出了八进制数、十六进制数、指数形式浮点数的正则表达式。对于注释“//”,本程序匹配以“//”开头、以’\n’结尾的所有字符串并只输出“//”。对于注释“/……/”,本程序匹配以“/”开头以“/”结尾的所有字符串。值得提出的是,当此类注释只有“/”或只有“/”时,程序会识别成运算符“/”和“”。解决方案为对“/”和“*/”进行单独匹配,若能够单独匹配到这两个单词,说明该注释缺失符号。
关于本程序的出错处理,本程序将无法识别的单词和它的行号记录下来,词法分析完成后一起输出。

四、项目演示

下面是对几个Sample语言片段的词法分析输出
片段1

program example;
var
a:integer;
begin
x:=3+3.5+3.5e4;
end
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

片段一输出
片段2(对于单词α,由于激活了中文显示,α不能正常输出)

program example;
var
3a:real;
3a=0x1G;
α:integer;
  • 1
  • 2
  • 3
  • 4
  • 5

在这里插入图片描述

片段3(注释缺失)

/*aaabbcd
adfaf
*/
/*balabala
//asdfo
  • 1
  • 2
  • 3
  • 4
  • 5

在这里插入图片描述

总结

本实验中完成了一个对于Sample语言源代码的词法分析,并打印分析结果。使用词法分析工具Flex,并结合C语言完成。根据Sample语言文档写出了所有单词的正则表达式,利用Flex工具和C语言进行判断和分析,输出单词的行号、种别码,并能够给出错误信息。
当时完成这样一个词法分析程序还是蛮有成就感的,第一次使用flex工具进行编程,我也感受到了编译原理这门课程的魅力。当时我就想一定要完成自己的编译器。

源代码

%{
#include <math.h>
#include <stdlib.h>
#include <stdio.h>
#include<string.h>
int row=1;
char faults[100][100];
int cnt_fault=0;
%}
HDIGIT  [1-9]
DIGIT   [0-9]
ID      [a-zA-Z][a-zA-Z0-9]*
EIGIT   [0-7]
SDIGIT  [0-9A-F]
BAOLIUZI    and|begin|bool|char|const|do|else|end|for|if|input|integer|not|or|output|program|read|real|repeat|then|to|until|var|while|write
DANJIEFU    [+|\-|*|/|=|<|>|\||:|,|_|.]
SHUANGJIEFU "/*"|"*/"|"<="|">="|"<>"|":="
BOOL    true|false
FENHAO  ;
%%
\n {row++;}
"/*"(.|\n)*"*/"  {            

    int len=strlen(yytext);
    int num=0;
    for(int i=0;i<len;i++)
        if(yytext[i]=='\n')
            num++;
    printf("%4d\t45\t注释: /*\n",row); 
    row+=num;
    printf("%4d\t46\t注释: */\n",row);   
}
"/*"                        { sprintf(faults[cnt_fault++],"%4d\t缺少注释\n", row); }
"*/"                        { sprintf(faults[cnt_fault++],"%4d\t缺少注释\n", row); }
{DIGIT}|{HDIGIT}{DIGIT}+    { printf("%4d\t53\t整数:%s(%d)\n",row, yytext, atoi(yytext)); }
{DIGIT}+"."{DIGIT}+         { printf("%4d\t53\t实数:%s(%g)\n", row,yytext, atof(yytext)); }
0[0-7]+                     { printf("%4d\t53\t八进制数:%s(%g)\n",row, yytext, atof(yytext)); }
0x[0-9A-F]*                 { printf("%4d\t53\t十六进制数:%s\n",row, yytext); }
{DIGIT}+"."{DIGIT}+"e"(""|"-"){DIGIT}+  { printf("%4d\t53\t指数形式的浮点数:%s(%g)\n",row, yytext, atof(yytext)); }
'.*'                        { printf("%4d\t53\t字符常数:%s\n",row, yytext); }

program     { printf("%4d\t 1\t保留字: %s\n",row,yytext); }
var         { printf("%4d\t 2\t保留字: %s\n",row,yytext); }
integer     { printf("%4d\t 3\t保留字: %s\n",row,yytext); }
bool        { printf("%4d\t 4\t保留字: %s\n",row,yytext); }
real        { printf("%4d\t 5\t保留字: %s\n",row,yytext); }
char        { printf("%4d\t 6\t保留字: %s\n",row,yytext); }
const       { printf("%4d\t 7\t保留字: %s\n",row,yytext); }

begin       { printf("%4d\t 8\t保留字: %s\n",row,yytext); }
if          { printf("%4d\t 9\t保留字: %s\n",row,yytext); }
then        { printf("%4d\t10\t保留字: %s\n",row,yytext); }
else        { printf("%4d\t11\t保留字: %s\n",row,yytext); }
while       { printf("%4d\t12\t保留字: %s\n",row,yytext); }
do          { printf("%4d\t13\t保留字: %s\n",row,yytext); }
repeat      { printf("%4d\t14\t保留字: %s\n",row,yytext); }
until       { printf("%4d\t15\t保留字: %s\n",row,yytext); }
for         { printf("%4d\t16\t保留字: %s\n",row,yytext); }
to          { printf("%4d\t17\t保留字: %s\n",row,yytext); }
of          { printf("%4d\t18\t保留字: %s\n",row,yytext); }
input       { printf("%4d\t19\t保留字: %s\n",row,yytext); }
output      { printf("%4d\t20\t保留字: %s\n",row,yytext); }
not         { printf("%4d\t21\t保留字: %s\n",row,yytext); }
and         { printf("%4d\t22\t保留字: %s\n",row,yytext); }
or          { printf("%4d\t23\t保留字: %s\n",row,yytext); }
true        { printf("%4d\t24\t保留字: %s\n",row,yytext); }
false       { printf("%4d\t25\t保留字: %s\n",row,yytext); }
end         { printf("%4d\t26\t保留字: %s\n",row,yytext); }
case        { printf("%4d\t27\t保留字: %s\n",row,yytext); }
read        { printf("%4d\t28\t保留字: %s\n",row,yytext); }
write       { printf("%4d\t29\t保留字: %s\n",row,yytext); }

"+"         { printf("%4d\t30\t运算符: %s\n",row,yytext); }
"-"         { printf("%4d\t31\t运算符: %s\n",row,yytext); }
"*"         { printf("%4d\t32\t运算符: %s\n",row,yytext); }
"/"         { printf("%4d\t33\t运算符: %s\n",row,yytext); }
"<"         { printf("%4d\t34\t运算符: %s\n",row,yytext); }
">"         { printf("%4d\t35\t运算符: %s\n",row,yytext); }
"<="        { printf("%4d\t36\t运算符: %s\n",row,yytext); }
">="        { printf("%4d\t37\t运算符: %s\n",row,yytext); }
"="         { printf("%4d\t38\t运算符: %s\n",row,yytext); }
":="        { printf("%4d\t39\t运算符: %s\n",row,yytext); }
"<>"        { printf("%4d\t40\t运算符: %s\n",row,yytext); }
":"         { printf("%4d\t41\t运算符: %s\n",row,yytext); }
","         { printf("%4d\t42\t运算符: %s\n",row,yytext); }

"//".*      { printf("%4d\t44\t注释: //\n",row); }


";"         { printf("%4d\t47\t分号:%s\n",row, yytext); }

"("         { printf("%4d\t48\t界符:%s\n",row, yytext); }
")"         { printf("%4d\t49\t界符:%s\n",row, yytext); }
"."         { printf("%4d\t50\t界符:%s\n",row, yytext); }
"{"         { printf("%4d\t51\t界符:%s\n",row, yytext); }
"}"         { printf("%4d\t52\t界符:%s\n",row, yytext); }
"["         { printf("%4d\t53\t界符:%s\n",row, yytext); }
"]"         { printf("%4d\t54\t界符:%s\n",row, yytext); }

{ID}        { printf("%4d\t58\t标识符:%s\n", row,yytext); } 
[0-9]+[a-zA-Z]+[a-zA-Z0-9]*  { sprintf(faults[cnt_fault++],"%4d\t不能识别的字符:%s\n", row,yytext); } 
[\t\x20]+          /*删除多余的空格*/
.           { sprintf(faults[cnt_fault++],"%4d\t不能识别的字符:%s\n", row,yytext); } 
%%

int main(int argc, char *argv[])
{
    system("chcp 65001");
    ++argv; --argc;
    if (argc>0) yyin = fopen(argv[0],"r");
    //else yyin = stdin;
    else
    {
        char file[100];
        printf("输入你的文件:\n");
        scanf("%s",file);
        yyin=fopen(file,"r");
    }
    yylex();
    if(cnt_fault>0)
    {
        printf("错误\n");
        for(int i=0;i<cnt_fault;i++)
            printf("%s",faults[i]);
    }
    
    system("pause");
    return 0;
}
int yywrap()
{  return 1; }
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/喵喵爱编程/article/detail/845163
推荐阅读
相关标签
  

闽ICP备14008679号