feat(lex_parser): 提取字符判断函数并增强解析器断言

将 `is_next_line` 内联函数重命名为 `lex_parse_is_endline` 并新增 `lex_parse_is_whitespace` 函数,统一用于词法解析中的字符分类。同时加强多个解析函数的输入参数断言,提升代码健壮性。

此外,修正了 `lex_parse_skip_whitespace` 中的逻辑错误,并优化部分注释和控制流结构。

feat(pprocessor): 初始化预处理器模块并添加基础功能实现

新增预处理器模块 `pprocessor`,包括宏定义、条件编译状态管理以及基本的指令解析框架。实现了标识符解析、空白跳过、关键字查找等功能,并初步支持 `#define` 指令的对象类宏替换。

该提交还引入了一组测试用例,覆盖多种宏展开场景及边界情况,确保预处理器的核心行为符合预期。
This commit is contained in:
zzy
2025-11-24 22:44:08 +08:00
parent 871d031ceb
commit e6a76e7a86
58 changed files with 1429 additions and 9 deletions

View File

@@ -3,6 +3,14 @@
#include <libcore.h>
static inline cbool lex_parse_is_endline(int ch) {
return ch == '\n' || ch == '\r';
}
static inline cbool lex_parse_is_whitespace(int ch) {
return ch == ' ' || ch == '\t';
}
int lex_parse_char(core_stream_t *input, core_pos_t *pos);
cbool lex_parse_string(core_stream_t *input, core_pos_t *pos,
cstring_t *output);

View File

@@ -1,8 +1,7 @@
#include <lex_parser.h>
static inline cbool is_next_line(int ch) { return ch == '\n' || ch == '\r'; }
void lex_parse_skip_endline(core_stream_t *input, core_pos_t *pos) {
Assert(input != null && pos != null);
core_stream_reset_char(input);
int ch = core_stream_peek_char(input);
if (ch == '\r') {
@@ -60,7 +59,7 @@ static inline int got_simple_escape(int ch) {
void lex_parse_skip_line(core_stream_t *input, core_pos_t *pos) {
core_stream_t *stream = input;
Assert(stream != null);
Assert(stream != null && pos != null);
core_stream_reset_char(stream);
while (1) {
int ch = core_stream_peek_char(stream);
@@ -70,7 +69,7 @@ void lex_parse_skip_line(core_stream_t *input, core_pos_t *pos) {
}
// TODO endline
if (is_next_line(ch)) {
if (lex_parse_is_endline(ch)) {
lex_parse_skip_endline(stream, pos);
return;
} else {
@@ -82,6 +81,7 @@ void lex_parse_skip_line(core_stream_t *input, core_pos_t *pos) {
void lex_parse_skip_block_comment(core_stream_t *input, core_pos_t *pos) {
core_stream_t *stream = input;
Assert(stream != null && pos != null);
int ch;
core_stream_reset_char(stream);
ch = core_stream_next_char(stream);
@@ -102,7 +102,7 @@ void lex_parse_skip_block_comment(core_stream_t *input, core_pos_t *pos) {
return;
}
if (is_next_line(ch)) {
if (lex_parse_is_endline(ch)) {
lex_parse_skip_endline(stream, pos);
continue;
}
@@ -121,15 +121,16 @@ void lex_parse_skip_block_comment(core_stream_t *input, core_pos_t *pos) {
void lex_parse_skip_whitespace(core_stream_t *input, core_pos_t *pos) {
core_stream_t *stream = input;
Assert(stream != null);
Assert(stream != null && pos != null);
core_stream_reset_char(stream);
while (1) {
int ch = core_stream_next_char(stream);
int ch = core_stream_peek_char(stream);
if (ch == core_stream_eof) {
if (!lex_parse_is_whitespace(ch)) {
return;
}
core_stream_next_char(stream);
core_pos_next(pos);
}
}
@@ -188,6 +189,7 @@ static inline cbool _lex_parse_uint(core_stream_t *input, core_pos_t *pos,
*/
int lex_parse_char(core_stream_t *input, core_pos_t *pos) {
core_stream_t *stream = input;
Assert(stream != null && pos != null);
core_stream_reset_char(stream);
int ch = core_stream_peek_char(stream);
int ret = core_stream_eof;
@@ -258,6 +260,7 @@ ERR:
cbool lex_parse_string(core_stream_t *input, core_pos_t *pos,
cstring_t *output) {
core_stream_t *stream = input;
Assert(stream != null && pos != null && output != null);
core_stream_reset_char(stream);
int ch = core_stream_peek_char(stream);
@@ -279,7 +282,7 @@ cbool lex_parse_string(core_stream_t *input, core_pos_t *pos,
if (ch == core_stream_eof) {
LOG_ERROR("Unexpected EOF at string literal");
goto ERR;
} else if (is_next_line(ch)) {
} else if (lex_parse_is_endline(ch)) {
LOG_ERROR("Unexpected newline at string literal");
goto ERR;
} else if (ch == '\\') {
@@ -322,6 +325,7 @@ ERR:
*/
cbool lex_parse_number(core_stream_t *input, core_pos_t *pos, usize *output) {
core_stream_t *stream = input;
Assert(stream != null && pos != null && output != null);
core_stream_reset_char(stream);
int ch = core_stream_peek_char(stream);
int base = 0;
@@ -380,6 +384,7 @@ ERR:
*/
cbool lex_parse_identifier(core_stream_t *input, core_pos_t *pos,
cstring_t *output) {
Assert(input != null && pos != null && output != null);
Assert(cstring_is_empty(output));
core_stream_t *stream = input;
core_stream_reset_char(stream);