feat(parser): 启用parser和ast模块并重构解析器结构
- 在cbuild.toml中启用parser和ast依赖项 - 将AST内置类型枚举重命名为SCC_AST_BUILTIN_TYPE_*前缀格式 - 修复ast_def.h中的类型字段命名，将builtin改为type - 添加逗号操作符支持到表达式操作符枚举中 - 更新字面量表达式的lexeme字段为const char*指针和owned标志 - 重构解析器头文件结构，分离为parser.h、parser_utils.h、scc_sema.h等 - 实现新的解析器工具函数，包括预览、消费、回溯等功能 - 更新声明解析逻辑，使用新的解析器接口进行token处理 - 添加符号表语义分析功能框架 - 修复词法分析器中token移动时的空指针检查 - 统一使用scc_tree_dump_printf替代直接的scc_printf调用
This commit is contained in:
@@ -1,113 +0,0 @@
|
||||
/**
|
||||
* @file parser.h
|
||||
*/
|
||||
|
||||
#ifndef __SCC_PARSER_H__
|
||||
#define __SCC_PARSER_H__
|
||||
|
||||
#include "scc_ast.h"
|
||||
#include <lexer.h>
|
||||
|
||||
/**
|
||||
* @brief 解析器状态
|
||||
*/
|
||||
typedef struct scc_parser {
|
||||
scc_lexer_stream_t *lex_stream; // 词法分析器
|
||||
scc_sema_callbacks_t sema_callbacks; // 语义分析回调
|
||||
scc_ast_translation_unit_t *translation_unit; // 翻译单元（根节点）
|
||||
cbool has_error; // 是否有错误
|
||||
} scc_parser_t;
|
||||
|
||||
/**
|
||||
* @brief 检查当前 token 类型
|
||||
*/
|
||||
static inline cbool scc_parse_is(scc_lexer_stream_t *stream,
|
||||
scc_tok_type_t type) {
|
||||
const scc_lexer_tok_t *tok = scc_lexer_stream_current(stream);
|
||||
return tok->type == type;
|
||||
}
|
||||
|
||||
/**
|
||||
* @brief 检查前瞻 token 类型
|
||||
*/
|
||||
static inline cbool scc_parse_peek_is(scc_lexer_stream_t *stream, usize n,
|
||||
scc_tok_type_t type) {
|
||||
const scc_lexer_tok_t *tok = scc_lexer_stream_peek(stream, n);
|
||||
return tok->type == type;
|
||||
}
|
||||
|
||||
/**
|
||||
* @brief 如果当前 token 匹配则消费
|
||||
*/
|
||||
static inline cbool scc_parse_consume_if(scc_lexer_stream_t *stream,
|
||||
scc_tok_type_t type) {
|
||||
if (scc_parse_is(stream, type)) {
|
||||
scc_lexer_stream_consume(stream);
|
||||
return true;
|
||||
}
|
||||
return false;
|
||||
}
|
||||
|
||||
/**
|
||||
* @brief 消费当前 token 并返回它
|
||||
*/
|
||||
static inline const scc_lexer_tok_t *
|
||||
scc_parse_consume(scc_lexer_stream_t *stream) {
|
||||
const scc_lexer_tok_t *tok = scc_lexer_stream_current(stream);
|
||||
scc_lexer_stream_consume(stream);
|
||||
return tok;
|
||||
}
|
||||
|
||||
/**
|
||||
* @brief 初始化解析器
|
||||
* @param parser 解析器实例
|
||||
* @param lexer 词法分析器实例
|
||||
* @param callbacks 语义分析回调(可为 null)
|
||||
*/
|
||||
void scc_parser_init(scc_parser_t *parser, scc_lexer_stream_t *lexer,
|
||||
scc_sema_callbacks_t *callbacks);
|
||||
|
||||
/**
|
||||
* @brief 销毁解析器
|
||||
* @param parser 解析器实例
|
||||
*/
|
||||
void scc_parser_drop(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析整个翻译单元
|
||||
* @param parser 解析器实例
|
||||
* @return 翻译单元 AST 节点
|
||||
*/
|
||||
scc_ast_translation_unit_t *scc_parse_translation_unit(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析声明
|
||||
* @param parser 解析器实例
|
||||
* @return 声明 AST 节点
|
||||
*/
|
||||
scc_ast_decl_t *scc_parse_declaration(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析语句
|
||||
* @param parser 解析器实例
|
||||
* @return 语句 AST 节点
|
||||
*/
|
||||
scc_ast_stmt_t *scc_parse_statement(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析表达式
|
||||
* @param parser 解析器实例
|
||||
* @return 表达式 AST 节点
|
||||
*/
|
||||
scc_ast_expr_t *scc_parse_expression(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析类型
|
||||
* @param parser 解析器实例
|
||||
* @return 类型 AST 节点
|
||||
*/
|
||||
scc_ast_type_t *scc_parse_type(scc_parser_t *parser);
|
||||
|
||||
cbool scc_parse_is_declaration_start(scc_parser_t *parser, usize offset);
|
||||
|
||||
#endif /* __SCC_PARSER_H__ */
|
||||
69
libs/parser/include/parser_utils.h
Normal file
69
libs/parser/include/parser_utils.h
Normal file
@@ -0,0 +1,69 @@
|
||||
#ifndef __SCC_PARSER_UTILS_H__
|
||||
#define __SCC_PARSER_UTILS_H__
|
||||
|
||||
#include "scc_parser.h"
|
||||
|
||||
static inline const scc_lexer_tok_t *scc_parser_peek(scc_parser_t *parser) {
|
||||
cbool ok = false;
|
||||
const scc_lexer_tok_t *tok = null;
|
||||
scc_ring_unsafe_peek_ref(*parser->ring, tok, ok);
|
||||
if (ok == false) {
|
||||
return null;
|
||||
}
|
||||
return tok;
|
||||
}
|
||||
|
||||
static inline const scc_lexer_tok_t *scc_parser_next(scc_parser_t *parser) {
|
||||
cbool ok = false;
|
||||
const scc_lexer_tok_t *tok = null;
|
||||
scc_ring_unsafe_next_ref(*parser->ring, tok, ok);
|
||||
if (ok == false) {
|
||||
return null;
|
||||
}
|
||||
return tok;
|
||||
}
|
||||
|
||||
static inline cbool scc_parser_consume_if(scc_parser_t *parser,
|
||||
scc_tok_type_t type) {
|
||||
cbool ok = false;
|
||||
scc_lexer_tok_t *tok = null;
|
||||
scc_ring_unsafe_peek_ref(*parser->ring, tok, ok);
|
||||
if (ok == false) {
|
||||
return null;
|
||||
}
|
||||
if (tok->type == type) {
|
||||
scc_lexer_tok_drop(tok);
|
||||
scc_ring_unsafe_pure_next_consume(*parser->ring);
|
||||
return true;
|
||||
} else {
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
static inline void scc_parser_store(scc_parser_t *parser) {
|
||||
parser->checkpoint = _scc_ring_probe(*parser->ring);
|
||||
}
|
||||
|
||||
static inline void scc_parser_restore(scc_parser_t *parser) {
|
||||
_scc_ring_probe(*parser->ring) = parser->checkpoint;
|
||||
}
|
||||
|
||||
static inline cbool scc_parser_next_consume(scc_parser_t *parser,
|
||||
scc_lexer_tok_t *tok) {
|
||||
cbool ok = false;
|
||||
scc_lexer_tok_t *raw_tok_ref = null;
|
||||
scc_ring_unsafe_next_ref_consume(*parser->ring, raw_tok_ref, ok);
|
||||
scc_lexer_tok_move(tok, raw_tok_ref);
|
||||
return ok;
|
||||
}
|
||||
|
||||
static inline void scc_parser_commit(scc_parser_t *parser) {
|
||||
// Memory leak
|
||||
scc_ring_consume(*parser->ring);
|
||||
}
|
||||
|
||||
static inline void scc_parser_reset(scc_parser_t *parser) {
|
||||
scc_ring_reset(*parser->ring);
|
||||
}
|
||||
|
||||
#endif /* __SCC_PARSER_UTILS_H__ */
|
||||
75
libs/parser/include/scc_parser.h
Normal file
75
libs/parser/include/scc_parser.h
Normal file
@@ -0,0 +1,75 @@
|
||||
#ifndef __SCC_PARSER_H__
|
||||
#define __SCC_PARSER_H__
|
||||
|
||||
#include "scc_sema.h"
|
||||
#include <scc_ast.h>
|
||||
#include <scc_core_ring.h>
|
||||
#include <scc_lexer_token.h>
|
||||
|
||||
/**
|
||||
* @brief 解析器状态
|
||||
*/
|
||||
typedef struct scc_parser {
|
||||
scc_lexer_tok_ring_t *ring;
|
||||
usize checkpoint;
|
||||
|
||||
scc_sema_callbacks_t sema_callbacks;
|
||||
scc_ast_translation_unit_t *translation_unit;
|
||||
int errcode;
|
||||
} scc_parser_t;
|
||||
|
||||
/**
|
||||
* @brief 初始化解析器
|
||||
* @param parser 解析器实例
|
||||
* @param lexer 词法分析器实例
|
||||
* @param callbacks 语义分析回调(可为 null)
|
||||
*/
|
||||
void scc_parser_init(scc_parser_t *parser, scc_lexer_tok_ring_t *tok_ring,
|
||||
scc_sema_callbacks_t *callbacks);
|
||||
|
||||
/**
|
||||
* @brief 销毁解析器
|
||||
* @param parser 解析器实例
|
||||
*/
|
||||
void scc_parser_drop(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析整个翻译单元
|
||||
* @param parser 解析器实例
|
||||
* @return 翻译单元 AST 节点
|
||||
*/
|
||||
scc_ast_translation_unit_t *scc_parse_translation_unit(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析声明
|
||||
* @param parser 解析器实例
|
||||
* @return 声明 AST 节点
|
||||
*/
|
||||
scc_ast_decl_t *scc_parse_declaration(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析语句
|
||||
* @param parser 解析器实例
|
||||
* @return 语句 AST 节点
|
||||
*/
|
||||
scc_ast_stmt_t *scc_parse_statement(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析表达式
|
||||
* @param parser 解析器实例
|
||||
* @return 表达式 AST 节点
|
||||
*/
|
||||
scc_ast_expr_t *scc_parse_expression(scc_parser_t *parser);
|
||||
|
||||
/**
|
||||
* @brief 解析类型
|
||||
* @param parser 解析器实例
|
||||
* @return 类型 AST 节点
|
||||
*/
|
||||
scc_ast_type_t *scc_parse_type(scc_parser_t *parser);
|
||||
|
||||
static inline scc_ast_type_t *scc_parse_type_name(scc_parser_t *parser) {
|
||||
return null; // TODO
|
||||
}
|
||||
|
||||
#endif /* __SCC_PARSER_H__ */
|
||||
25
libs/parser/include/scc_sema.h
Normal file
25
libs/parser/include/scc_sema.h
Normal file
@@ -0,0 +1,25 @@
|
||||
#ifndef __SCC_SEMA_H__
|
||||
#define __SCC_SEMA_H__
|
||||
|
||||
#include <scc_ast.h>
|
||||
|
||||
/**
|
||||
* @brief 语义分析回调函数类型
|
||||
*/
|
||||
typedef void (*scc_sema_callback_t)(void *context,
|
||||
scc_ast_node_type_t node_type, void *node);
|
||||
|
||||
/**
|
||||
* @brief 语义分析回调集合
|
||||
*/
|
||||
typedef struct scc_sema_callbacks {
|
||||
scc_sema_callback_t on_decl;
|
||||
scc_sema_callback_t on_stmt;
|
||||
scc_sema_callback_t on_expr;
|
||||
scc_sema_callback_t on_type;
|
||||
void *context;
|
||||
} scc_sema_callbacks_t;
|
||||
|
||||
void scc_sema_init(scc_sema_callbacks_t *callbacks);
|
||||
|
||||
#endif /* __SCC_SEMA_H__ */
|
||||
28
libs/parser/include/sema_symtab.h
Normal file
28
libs/parser/include/sema_symtab.h
Normal file
@@ -0,0 +1,28 @@
|
||||
#ifndef __SCC_SEMA_SYMTAB_H__
|
||||
#define __SCC_SEMA_SYMTAB_H__
|
||||
|
||||
#include <scc_ast.h>
|
||||
#include <scc_utils.h>
|
||||
|
||||
typedef struct scc_parser_scope {
|
||||
scc_hashtable_t symbols;
|
||||
struct scc_parser_scope *parent;
|
||||
} scc_sema_scope_t;
|
||||
|
||||
typedef struct {
|
||||
scc_sema_scope_t root_scope;
|
||||
scc_sema_scope_t *current_scope;
|
||||
} scc_sema_symtab_t;
|
||||
|
||||
void scc_sema_symtab_init(scc_sema_symtab_t *symtab);
|
||||
void scc_sema_symtab_drop(scc_sema_symtab_t *symtab);
|
||||
|
||||
void scc_sema_symtab_enter_scope(scc_sema_symtab_t *symtab);
|
||||
void scc_sema_symtab_leave_scope(scc_sema_symtab_t *symtab);
|
||||
scc_ast_node_t *scc_sema_symtab_add_symbol(scc_sema_symtab_t *symtab,
|
||||
const char *name,
|
||||
scc_ast_node_t *ast_node_ref);
|
||||
scc_ast_node_t *scc_sema_symtab_lookup_symbol(scc_sema_symtab_t *symtab,
|
||||
const char *name);
|
||||
|
||||
#endif /* __SCC_SEMA_SYMTAB_H__ */
|
||||
Reference in New Issue
Block a user