yosys深入研究和演示(2) --- flex词法分析

原创硬件电路设计与研究 2021-07-08 13:11

泰克电源、数字万用表、探头大促 数字万用表多少钱合适？

在EDA软件设计中，比如我们可以针对yosys，我们可以自己设计一个frontend，以实现c/c++到verilog的转换，此时我们就需要自己来设计一套编译器，编译器的词法生成器有各种不同，常见的有LL(k)、LALR....,比如javacc就是非常有名的LL(k)生成器,flex/lex则是LALR(1)生成器，一般针对c/c++编译器，可以使用flex/bison来做词法\语法语义解析器的生成器设计。选择flex\lex与bison\yacc来生成词法解析器与语法解析器是非常不错的选择。然而，这两个工具虽然用起来简单，但对于新手来说，入门还有着些许的难度。本次推文就是针对新手，介绍flex的概念和使用。

一、在linux下一般都会缺省安装flex的，否则可以手动安装：apt install flex

二、程序编译简单说，就是把一种设计表述形式转换翻译为另外一种表述形式，比如我们可以把C语言表述的程序翻译转换为汇编语言表述，把C语言表述的逻辑翻译为verilog语言表述(即HLS综合）.....,这其中需要做到基本各种包括：将原始表述分隔成有意义的单元(即Token），然后找出这些单元之间的关系和语义；其中第一步工作(即将原始表述分隔成有意义的单元Token),叫词法分析，不同的语言有自己不同的词法分析要求，完成自己特殊词法分析要求的程序叫词法分析器，手工自己写一个词法分析器程序是个很繁琐的工作，那么能不能用另外一个工具，根据不同需求自动生成一个词法分析器？答案是肯定的，而lex/flex就是一个这样的工具，lex/flex所做的工作就是生成词法分析器，那么具体咋做？

首先我们需要写一个.l后缀的文件，以定义和告诉flex如何分析词法，词法分析的规则是什么，如何分析的规则都是用正则表达式来描述的(关于正则表达式见前面推文)，这个.l后缀的文件的结构如下：

定义(definations)
%%
规则(rules)
%%
代码(user code)

flex的代码分为三个部分，由%%分割，这些部分可以为空，但为了大家便于理解，一个具体示例如下：

%{
#define T_WORD 1
int numChars = 0, numWords = 0, numLines = 0;
%}

WORD		([^ \t\n\r\a]+)

%%
\n		{ numLines++; numChars++; }
{WORD}		{ numWords++; numChars += yyleng; return T_WORD; }
<<EOF>>		{ return 0; }
.		{ numChars++; }
%%

int main() {
	int token_type;
	while (token_type = yylex()) {
		printf("WORD:\t%s\n", yytext);
	}
	printf("\nChars\tWords\tLines\n");
	printf("%d\t%d\t%d\n", numChars, numWords, numLines);
	return 0;
}

int yywrap() {
	return 1;
}