zzy
871d031ceb
新增词法解析器库 `smcc_lex_parser`，包含基础的词法规则解析功能： - 支持字符、字符串、数字、标识符的解析 - 支持跳过注释、空白符、行尾等辅助函数 - 提供对应的单元测试用例，覆盖各类合法与非法输入情况 该模块依赖 `libcore`，并被 `smcc_lex` 模块引用以支持更上层的词法分析逻辑。
54 lines
1.2 KiB
C
54 lines
1.2 KiB
C
/**
|
||
* @file lexer.h
|
||
* @brief C语言词法分析器核心数据结构与接口
|
||
*/
|
||
|
||
#ifndef __SMCC_CC_LEXER_H__
|
||
#define __SMCC_CC_LEXER_H__
|
||
|
||
#include "lexer_token.h"
|
||
#include <libcore.h>
|
||
|
||
typedef struct lexer_token {
|
||
token_type_t type;
|
||
core_cvalue_t value;
|
||
core_pos_t loc;
|
||
} lexer_tok_t;
|
||
|
||
/**
|
||
* @brief 词法分析器核心结构体
|
||
*
|
||
* 封装词法分析所需的状态信息和缓冲区管理
|
||
*/
|
||
typedef struct cc_lexer {
|
||
core_stream_t *stream;
|
||
core_pos_t pos;
|
||
} smcc_lexer_t;
|
||
|
||
/**
|
||
* @brief 初始化词法分析器
|
||
* @param[out] lexer 要初始化的词法分析器实例
|
||
* @param[in] stream 输入流对象指针
|
||
*/
|
||
void lexer_init(smcc_lexer_t *lexer, core_stream_t *stream);
|
||
|
||
/**
|
||
* @brief 获取原始token
|
||
* @param[in] lexer 词法分析器实例
|
||
* @param[out] token 输出token存储位置
|
||
*
|
||
* 此函数会返回所有类型的token，包括空白符等无效token
|
||
*/
|
||
void lexer_get_token(smcc_lexer_t *lexer, lexer_tok_t *token);
|
||
|
||
/**
|
||
* @brief 获取有效token
|
||
* @param[in] lexer 词法分析器实例
|
||
* @param[out] token 输出token存储位置
|
||
*
|
||
* 此函数会自动跳过空白符等无效token，返回对语法分析有意义的token
|
||
*/
|
||
void lexer_get_valid_token(smcc_lexer_t *lexer, lexer_tok_t *token);
|
||
|
||
#endif
|