ZZY
05c637e594
- 重命名和重构了多个文件，包括 lexer、parser 和 AST 相关代码 - 添加了日志功能，使用 LOG_* 宏替代原有的 error 和 warn 函数 - 优化了错误处理和内存分配方式 - 调整了代码结构，提高了模块化和可读性
39 lines
1.0 KiB
C
39 lines
1.0 KiB
C
#ifndef __SMCC_LEXER_H__
|
|
#define __SMCC_LEXER_H__
|
|
|
|
#include <lib/core.h>
|
|
#include "token.h"
|
|
#ifndef LEXER_MAX_TOKEN_SIZE
|
|
#define LEXER_MAX_TOKEN_SIZE 63
|
|
#endif
|
|
#ifndef LEXER_BUFFER_SIZE
|
|
#define LEXER_BUFFER_SIZE 4095
|
|
#endif
|
|
|
|
typedef int (*lexer_sread_fn)(void *dst_buf, int dst_size,
|
|
int elem_size, int count, void *stream);
|
|
|
|
typedef struct lexer {
|
|
int line;
|
|
int index;
|
|
// const char current_file_name[LEXER_BUFFER_SIZE+1];
|
|
|
|
unsigned char* cur_ptr; // 当前扫描的字符，但是还没有开始扫描
|
|
unsigned char* end_ptr; // 缓冲区最后一个字符的下一个位置
|
|
char buffer[LEXER_BUFFER_SIZE+1];
|
|
|
|
lexer_sread_fn sread;
|
|
void* stream;
|
|
} lexer_t;
|
|
|
|
void init_lexer(lexer_t* lexer, const char* file_name, void* stream,
|
|
lexer_sread_fn sread);
|
|
|
|
// pure token getter it will included empty token like TOKEN_FLUSH
|
|
void get_token(lexer_t* lexer, tok_t* token);
|
|
|
|
// get_token maybe got invalid (with parser as TOKEN_FLUSH)
|
|
void get_valid_token(lexer_t* lexer, tok_t* token);
|
|
|
|
#endif
|