feat(lex_parser): 提取字符判断函数并增强解析器断言
将 `is_next_line` 内联函数重命名为 `lex_parse_is_endline` 并新增 `lex_parse_is_whitespace` 函数,统一用于词法解析中的字符分类。同时加强多个解析函数的输入参数断言,提升代码健壮性。 此外,修正了 `lex_parse_skip_whitespace` 中的逻辑错误,并优化部分注释和控制流结构。 feat(pprocessor): 初始化预处理器模块并添加基础功能实现 新增预处理器模块 `pprocessor`,包括宏定义、条件编译状态管理以及基本的指令解析框架。实现了标识符解析、空白跳过、关键字查找等功能,并初步支持 `#define` 指令的对象类宏替换。 该提交还引入了一组测试用例,覆盖多种宏展开场景及边界情况,确保预处理器的核心行为符合预期。
This commit is contained in:
@@ -3,6 +3,14 @@
|
||||
|
||||
#include <libcore.h>
|
||||
|
||||
static inline cbool lex_parse_is_endline(int ch) {
|
||||
return ch == '\n' || ch == '\r';
|
||||
}
|
||||
|
||||
static inline cbool lex_parse_is_whitespace(int ch) {
|
||||
return ch == ' ' || ch == '\t';
|
||||
}
|
||||
|
||||
int lex_parse_char(core_stream_t *input, core_pos_t *pos);
|
||||
cbool lex_parse_string(core_stream_t *input, core_pos_t *pos,
|
||||
cstring_t *output);
|
||||
|
||||
@@ -1,8 +1,7 @@
|
||||
#include <lex_parser.h>
|
||||
|
||||
static inline cbool is_next_line(int ch) { return ch == '\n' || ch == '\r'; }
|
||||
|
||||
void lex_parse_skip_endline(core_stream_t *input, core_pos_t *pos) {
|
||||
Assert(input != null && pos != null);
|
||||
core_stream_reset_char(input);
|
||||
int ch = core_stream_peek_char(input);
|
||||
if (ch == '\r') {
|
||||
@@ -60,7 +59,7 @@ static inline int got_simple_escape(int ch) {
|
||||
|
||||
void lex_parse_skip_line(core_stream_t *input, core_pos_t *pos) {
|
||||
core_stream_t *stream = input;
|
||||
Assert(stream != null);
|
||||
Assert(stream != null && pos != null);
|
||||
core_stream_reset_char(stream);
|
||||
while (1) {
|
||||
int ch = core_stream_peek_char(stream);
|
||||
@@ -70,7 +69,7 @@ void lex_parse_skip_line(core_stream_t *input, core_pos_t *pos) {
|
||||
}
|
||||
|
||||
// TODO endline
|
||||
if (is_next_line(ch)) {
|
||||
if (lex_parse_is_endline(ch)) {
|
||||
lex_parse_skip_endline(stream, pos);
|
||||
return;
|
||||
} else {
|
||||
@@ -82,6 +81,7 @@ void lex_parse_skip_line(core_stream_t *input, core_pos_t *pos) {
|
||||
|
||||
void lex_parse_skip_block_comment(core_stream_t *input, core_pos_t *pos) {
|
||||
core_stream_t *stream = input;
|
||||
Assert(stream != null && pos != null);
|
||||
int ch;
|
||||
core_stream_reset_char(stream);
|
||||
ch = core_stream_next_char(stream);
|
||||
@@ -102,7 +102,7 @@ void lex_parse_skip_block_comment(core_stream_t *input, core_pos_t *pos) {
|
||||
return;
|
||||
}
|
||||
|
||||
if (is_next_line(ch)) {
|
||||
if (lex_parse_is_endline(ch)) {
|
||||
lex_parse_skip_endline(stream, pos);
|
||||
continue;
|
||||
}
|
||||
@@ -121,15 +121,16 @@ void lex_parse_skip_block_comment(core_stream_t *input, core_pos_t *pos) {
|
||||
|
||||
void lex_parse_skip_whitespace(core_stream_t *input, core_pos_t *pos) {
|
||||
core_stream_t *stream = input;
|
||||
Assert(stream != null);
|
||||
Assert(stream != null && pos != null);
|
||||
core_stream_reset_char(stream);
|
||||
while (1) {
|
||||
int ch = core_stream_next_char(stream);
|
||||
int ch = core_stream_peek_char(stream);
|
||||
|
||||
if (ch == core_stream_eof) {
|
||||
if (!lex_parse_is_whitespace(ch)) {
|
||||
return;
|
||||
}
|
||||
|
||||
core_stream_next_char(stream);
|
||||
core_pos_next(pos);
|
||||
}
|
||||
}
|
||||
@@ -188,6 +189,7 @@ static inline cbool _lex_parse_uint(core_stream_t *input, core_pos_t *pos,
|
||||
*/
|
||||
int lex_parse_char(core_stream_t *input, core_pos_t *pos) {
|
||||
core_stream_t *stream = input;
|
||||
Assert(stream != null && pos != null);
|
||||
core_stream_reset_char(stream);
|
||||
int ch = core_stream_peek_char(stream);
|
||||
int ret = core_stream_eof;
|
||||
@@ -258,6 +260,7 @@ ERR:
|
||||
cbool lex_parse_string(core_stream_t *input, core_pos_t *pos,
|
||||
cstring_t *output) {
|
||||
core_stream_t *stream = input;
|
||||
Assert(stream != null && pos != null && output != null);
|
||||
core_stream_reset_char(stream);
|
||||
int ch = core_stream_peek_char(stream);
|
||||
|
||||
@@ -279,7 +282,7 @@ cbool lex_parse_string(core_stream_t *input, core_pos_t *pos,
|
||||
if (ch == core_stream_eof) {
|
||||
LOG_ERROR("Unexpected EOF at string literal");
|
||||
goto ERR;
|
||||
} else if (is_next_line(ch)) {
|
||||
} else if (lex_parse_is_endline(ch)) {
|
||||
LOG_ERROR("Unexpected newline at string literal");
|
||||
goto ERR;
|
||||
} else if (ch == '\\') {
|
||||
@@ -322,6 +325,7 @@ ERR:
|
||||
*/
|
||||
cbool lex_parse_number(core_stream_t *input, core_pos_t *pos, usize *output) {
|
||||
core_stream_t *stream = input;
|
||||
Assert(stream != null && pos != null && output != null);
|
||||
core_stream_reset_char(stream);
|
||||
int ch = core_stream_peek_char(stream);
|
||||
int base = 0;
|
||||
@@ -380,6 +384,7 @@ ERR:
|
||||
*/
|
||||
cbool lex_parse_identifier(core_stream_t *input, core_pos_t *pos,
|
||||
cstring_t *output) {
|
||||
Assert(input != null && pos != null && output != null);
|
||||
Assert(cstring_is_empty(output));
|
||||
core_stream_t *stream = input;
|
||||
core_stream_reset_char(stream);
|
||||
|
||||
Reference in New Issue
Block a user