27a87d17ab
feat(lexer): 改进预处理器token测试用例并修复##符号处理
...
- 将"##" token从SCC_TOK_SHARP修正为SCC_TOK_SHARP_SHARP
- 添加更多预处理器指令测试用例，包括宏定义、错误和警告指令
- 修正序列测试中的##符号处理
fix(pproc): 完善预处理器指令处理逻辑
- 实现#error和#warning指令的具体处理逻辑
- 添加对字符串字面量的错误和警告消息输出
- 优化未处理指令的错误处理流程
fix(pproc): 修复词法分析器流处理边界条件
- 在scc_pproc.c中添加对token获取失败的检查
- 防止在流结束时出现未处理的边界情况
2026-02-19 12:14:56 +08:00
681a15cb44
feat(lexer): 添加预处理器关键字支持并优化词法分析器
...
添加了完整的C预处理器关键字表，包括define、include、ifdef等关键字，
用于支持预处理器功能。
- 新增SCC_PPKEYWORD_TABLE宏定义所有预处理器关键字
- 在token类型枚举中包含预处理关键字
- 重构词法分析器以正确识别预处理关键字
- 添加scc_lexer_tok_drop函数用于清理token资源
refactor(lexer): 重构词法分析器内部结构
- 修复keywords数组字段名从tok到tok_type
- 优化scc_lexer_get_valid_token使用while循环替代do-while
- 修改fill_token和fill_valid_token返回类型为cbool
- 调整lexer_to_ring参数语义更清晰
fix(sstream): 修正环形缓冲区填充函数返回类型
- 将fill_func返回类型从int改为cbool以保持一致性
- 更新SCC_RING宏文档说明fill回调函数返回值含义
docs(argparse): 重命名examples目录修复路径错误
- 将libs/argparse/example重命名为libs/argparse/examples保持一致性
test(lexer): 更新测试用例适配新的流接口
- 修改测试代码中的scc_sstream_ref_ring为scc_sstream_to_ring
- 确保测试用例与新的API保持兼容
style(lexer): 更新示例程序日志级别和实现方式
- 将调试日志改为信息日志
- 使用环形缓冲区实现示例程序的token获取
2026-02-16 22:27:09 +08:00
b4929be6b8
refactor(lexer): 重构词法分析器头文件结构并优化缓冲区管理
...
移除了旧的lexer_stream.c实现，引入新的环形缓冲区机制来替代原有的
动态数组缓冲区。更新了词法分析器的核心数据结构，修改了token获取
相关函数的实现以支持新的缓冲区管理方式。
BREAKING CHANGE: 移除了scc_lexer_stream_t相关的API，替换为基于
环形缓冲区的新接口scc_lexer_to_ring和相关函数。
feat(lexer_token): 添加词法分析结果内存泄漏警告注释
docs: 移除预处理器模块的测试文件和相关配置
2026-02-16 21:21:23 +08:00
0e7dec202a
refactor(lex_parser): 移除旧的词法解析器实现并更新依赖
...
移除了 libs/lex_parser 目录下的所有头文件和源文件，包括：
- lex_parser.h 和 lex_parser.c 核心解析功能
- 所有测试文件（test_char.c, test_identifier.c, test_number.c,
test_skip_block_comment.c, test_skip_line.c, test_string.c）
更新了 lexer 模块的依赖配置，将 lex_parser 替换为 sstream，
同时更新了 lexer.h 中的相关包含头文件和数据结构定义，
简化了 scc_lexer_t 结构体的字段。
2026-02-16 16:56:40 +08:00
b753ae0911
refactor(lex_parser): 重命名libcore为scc_core并重构头文件包含
...
- 将依赖项从libcore重命名为scc_core
- 更新头文件包含路径从<libcore.h>到<scc_core.h>
- 保持原有功能不变
refactor(lexer): 重命名libcore为scc_core并添加词法流式解析功能
- 将依赖项从libcore重命名为scc_core
- 移除不再需要的scc_lexer_token结构体定义
- 重命名struct cc_lexer为struct scc_lexer
- 添加scc_lexer_stream_t流式解析器相关定义和实现
- 新增lexer_stream.c文件实现流式token缓冲功能
refactor(lexer_log): 重命名logger变量和头文件定义
- 将头文件保护宏从__SMCC_LEXER_LOG_H__改为__SCC_LEXER_LOG_H__
- 将logger变量从__smcc_lexer_log改为__scc_lexer_log
- 更新头文件包含从<libcore.h>到<scc_core.h>
refactor(lexer_token): 重新组织token头文件结构
- 将头文件保护宏从__SMCC_CC_TOKEN_H__改为__SCC_LEXER_TOKEN_H__
- 更新头文件包含从<libcore.h>到<scc_core.h>
- 将scc_lexer_token结构体定义移至该文件
refactor(lexer): 简化token匹配代码格式
- 移除LCC相关的注释内容
- 优化括号符号的token匹配代码格式，使用clang-format控制
refactor(pprocessor): 更新依赖项名称和头文件包含
- 将libcore重命名为scc_core
- 将libutils重命名为scc_utils
- 更新头文件包含路径
refactor(runtime): 重命名libcore为scc_core并重构目录结构
- 将libcore目录重命名为scc_core
- 将libutils目录重命名为scc_utils
- 更新所有相关的头文件包含路径
- 修改cbuild.toml中的包名称
- 更新core_vec.h中的宏定义以支持标准库模式
2026-01-08 11:22:27 +08:00
09f4ac8de0
feat(lex_parser, pprocessor): replace consume with next and remove stream resets
...
- Replace `scc_probe_stream_consume` with `scc_probe_stream_next` for consistent stream advancement
- Remove redundant `scc_probe_stream_reset` calls before peeking, as `next` and `peek` handle state
- Update `scc_cstring_new` to `scc_cstring_create` and `scc_pos_init` to `scc_pos_create` for naming consistency
- Change `scc_pp_macro_get` parameter to `const scc_cstring_t*` for better const-correctness
- Improves code clarity and maintains proper stream position tracking
2025-12-28 10:49:29 +08:00
874a58281f
feat(lex_parser): rename functions and update header guard prefix
...
- Change header guard from `__SMCC_LEX_PARSER_H__` to `__SCC_LEX_PARSER_H__`
- Prefix all lexer functions with `scc_` (e.g., `lex_parse_char` → `scc_lex_parse_char`)
- Add new helper function `scc_lex_parse_is_identifier_header`
- Update references in source and test files to use new function names
- Replace `core_stream_eof` with `scc_stream_eof` for consistency
2025-12-13 14:06:13 +08:00
d88fa3b8d3
feat: rename core types to scc prefix for consistency
...
Updated type names from `core_*` to `scc_*` across lex_parser and stream modules to maintain naming consistency within the SCC codebase. This includes changes to function signatures and internal usage of types like `core_probe_stream_t`, `core_pos_t`, and `cstring_t` to their `scc_*` counterparts.
2025-12-11 13:00:29 +08:00
186602a301
feat(core): rename string and stream functions for clarity
...
- Rename `cstring_push` to `cstring_append_ch` and `cstring_push_cstr` to `cstring_append_cstr` for consistent naming with new `cstring_append` function
- Update all callers in lexer and tests to use new function names
- Rename stream `destroy` method to `drop` for consistency with resource management conventions
- Fix potential overflow in string capacity calculation by adjusting growth logic
2025-12-09 18:04:53 +08:00
36bff64a91
feat 重构stream流API并适配lex_parse和lexer
2025-12-08 23:04:11 +08:00
871d031ceb
feat(lex_parser): 初始化词法解析器模块
...
新增词法解析器库 `smcc_lex_parser`，包含基础的词法规则解析功能：
- 支持字符、字符串、数字、标识符的解析
- 支持跳过注释、空白符、行尾等辅助函数
- 提供对应的单元测试用例，覆盖各类合法与非法输入情况
该模块依赖 `libcore`，并被 `smcc_lex` 模块引用以支持更上层的词法分析逻辑。
2025-11-23 22:53:46 +08:00
a3322f0d4c
feat(runtime): 添加字符串和内存操作工具函数
...
- 在 `core_mem.h` 中新增 `smcc_strhash32`、`smcc_strlen` 和 `smcc_strcmp` 函数，
提供 C 字符串的哈希、长度获取和比较功能
- 完善 `core_str.h` 中 `cstring_t` 结构体及相关操作函数的注释说明
- 更新 `core_str.h` 头文件保护宏命名，增强模块标识一致性
- 修改 `core_vec.h` 文件头部保护宏名称以匹配实际文件名
另外，在 lexer 测试运行代码中引入日志相关头文件并调整日志级别设置逻辑。
2025-11-21 17:52:42 +08:00
164bab0f13
fix(lexer): 修复词法分析器中的关键字比较与字符串处理逻辑
...
修正了关键字表的注释，明确要求其必须按字典序排列以确保二分查找正确性。
在词法分析过程中，修复标识符解析时对 `cstring` 的使用问题，并调整 token 类型赋值顺序，
避免潜在的未定义行为。同时新增测试文件用于验证操作符、关键字及各类字面量的识别准确性，
并更新测试运行器的日志级别控制参数。
2025-11-20 22:49:22 +08:00
d1fafa830d
format using clang-format to formate code
2025-11-20 17:55:08 +08:00
9762cf8a2b
feat(log): 支持设置多个日志级别的组合
...
将 `log_set_level` 函数的参数类型从 `log_level_t` 改为 `int`，
以支持传入多个日志级别的按位或组合。
同时调整测试代码中的日志级别设置方式，并修复部分逻辑引用问题，以及#未知宏跳过更多的行的bug。
2025-11-20 14:30:14 +08:00
47b56d52f6
feat(core): 重构词法分析器流接口并迁移至 core 库
...
将 lexer_stream 抽象为 core_stream，统一运行时核心组件的输入流模型。
移除了旧的 `lexer_stream.h` 定义，并将其功能完整迁移至 `core_stream.h` 中。
更新了内存流实现以适配新的 core_stream 接口，并修复部分资源释放问题。
同时调整日志模块包含方式，增强模块间解耦能力。
此变更影响词法分析器对输入流的操作方式，所有涉及 stream 的类型与函数均已替换为 core 前缀版本。
测试用例同步更新并验证通过。
2025-11-20 14:17:03 +08:00
e22811f2f5
feat(build): 引入新的 Python 构建系统并移除旧 Makefile
...
新增基于 Python 的构建脚本 `cbuild.py`，支持包管理、依赖解析和模块化编译。
同时添加 `.gitignore` 忽略 `build` 目录，并在 `justfile` 中更新构建命令。
移除了原有的 `lib/Makefile` 和主目录下的相关 make 规则，统一使用新构建系统。
2025-11-20 10:44:59 +08:00
