zzy
47b56d52f6
将 lexer_stream 抽象为 core_stream，统一运行时核心组件的输入流模型。 移除了旧的 `lexer_stream.h` 定义，并将其功能完整迁移至 `core_stream.h` 中。 更新了内存流实现以适配新的 core_stream 接口，并修复部分资源释放问题。 同时调整日志模块包含方式，增强模块间解耦能力。 此变更影响词法分析器对输入流的操作方式，所有涉及 stream 的类型与函数均已替换为 core 前缀版本。 测试用例同步更新并验证通过。
86 lines
2.1 KiB
C
86 lines
2.1 KiB
C
#include <lexer.h>
|
|
#include <stdio.h>
|
|
#include <stdlib.h>
|
|
#include <stdbool.h>
|
|
#include <string.h>
|
|
/// gcc -g ../lexer.c ../token.c test_lexer.c -o test_lexer
|
|
/*
|
|
tok_tConstant {
|
|
int have;
|
|
union {
|
|
char ch;
|
|
int i;
|
|
float f;
|
|
double d;
|
|
long long ll;
|
|
char* str;
|
|
};
|
|
};
|
|
*/
|
|
|
|
int g_num;
|
|
int g_num_arr[3];
|
|
int main(int argc, char* argv[]) {
|
|
// int num = 0;
|
|
if (argc == 3 && strcmp(argv[2], "-nodebug") == 0) {
|
|
log_set_level(NULL, LOG_LEVEL_ALL);
|
|
}
|
|
|
|
const char* file_name = __FILE__;
|
|
if (argc == 2) {
|
|
file_name = argv[1];
|
|
}
|
|
FILE* fp = fopen(file_name, "rb");
|
|
if (fp == NULL) {
|
|
perror("open file failed");
|
|
return 1;
|
|
}
|
|
printf("open file success\n");
|
|
|
|
if (fseek(fp, 0, SEEK_END) != 0) {
|
|
perror("fseek failed");
|
|
return 1;
|
|
}
|
|
usize fsize = ftell(fp);
|
|
LOG_INFO("file size: %zu", fsize);
|
|
if (fseek(fp, 0, SEEK_SET)) {
|
|
perror("fseek failed");
|
|
return 1;
|
|
}
|
|
|
|
char* buffer = (char*) malloc(fsize);
|
|
|
|
usize read_ret = fread(buffer, 1, fsize, fp);
|
|
fclose(fp);
|
|
if (read_ret != fsize) {
|
|
LOG_FATAL("fread failed read_ret %u != fsize %u", read_ret, fsize);
|
|
free(buffer);
|
|
return 1;
|
|
}
|
|
|
|
smcc_lexer_t lexer;
|
|
core_mem_stream_t mem_stream = {0};
|
|
core_stream_t* stream = core_mem_stream_init(&mem_stream, buffer, fsize, false);
|
|
Assert(stream != null);
|
|
cstring_clear(&stream->name);
|
|
cstring_push_cstr(&stream->name, __FILE__, strlen(__FILE__));
|
|
lexer_init(&lexer, stream);
|
|
lexer_tok_t tok;
|
|
|
|
while (1) {
|
|
lexer_get_valid_token(&lexer, &tok);
|
|
if (tok.type == TOKEN_EOF) {
|
|
break;
|
|
}
|
|
LOG_INFO("token `%s` at %s:%u:%u", get_tok_name(tok.type), tok.loc.name, tok.loc.line, tok.loc.column);
|
|
Assert(tok.loc.offset <= fsize);
|
|
// LOG_DEBUG("%s", tok.val.str);
|
|
// printf("line: %d, column: %d, type: %3d, typename: %s\n",
|
|
// lexer.line, lexer.index, tok.type, get_tok_name(tok.type));
|
|
}
|
|
|
|
free(buffer);
|
|
LOG_INFO("Lexer is Ok...");
|
|
return 0;
|
|
}
|