feat(lex_parser): 初始化词法解析器模块

新增词法解析器库 `smcc_lex_parser`,包含基础的词法规则解析功能:
- 支持字符、字符串、数字、标识符的解析
- 支持跳过注释、空白符、行尾等辅助函数
- 提供对应的单元测试用例,覆盖各类合法与非法输入情况

该模块依赖 `libcore`,并被 `smcc_lex` 模块引用以支持更上层的词法分析逻辑。
This commit is contained in:
zzy
2025-11-23 22:53:46 +08:00
parent 67af0c6bf2
commit 871d031ceb
18 changed files with 996 additions and 392 deletions

View File

@@ -0,0 +1,28 @@
#ifndef __SMCC_CORE_POS_H__
#define __SMCC_CORE_POS_H__
#include "core_str.h"
#include "core_type.h"
typedef struct {
cstring_t name;
usize line;
usize col;
usize offset;
} core_pos_t;
static inline core_pos_t core_pos_init() {
return (core_pos_t){cstring_new(), 1, 1, 0};
}
static inline void core_pos_next(core_pos_t *pos) {
pos->offset++;
pos->col++;
}
static inline void core_pos_next_line(core_pos_t *pos) {
pos->offset++;
pos->line++;
pos->col = 1;
}
#endif /* __SMCC_CORE_POS_H__ */

View File

@@ -54,12 +54,15 @@ static inline cstring_t cstring_from_cstr(const char *s) {
* @param str 要被释放的字符串指针
*/
static inline void cstring_free(cstring_t *str) {
if (str && str->data && str->cap != 0) {
if (str == null) {
return;
}
if (str->data != null && str->cap != 0) {
smcc_free(str->data);
str->data = null;
str->size = 0;
str->cap = 0;
}
str->size = 0;
str->cap = 0;
}
/**

View File

@@ -21,6 +21,7 @@
#define SMCC_STR(str) _SMCC_STR(str)
#define SMCC_ARRLEN(arr) (sizeof(arr) / sizeof(arr[0]))
#include <core_pos.h>
#include <core_str.h>
#include <core_stream.h>
#include <core_vec.h>