gh0s7/mysysy
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

[backend]更新了测试脚本，减少测试进程卡死情况

Browse Source
This commit is contained in:
Lixuanwang
2025-07-21 17:36:22 +08:00
parent bbfbf96b5e
commit 24d8e730f1
2 changed files with 76 additions and 115 deletions
Download Patch File Download Diff File Expand all files Collapse all files

166
test_script/runit-riscv64.sh
View File

@@ -1,16 +1,8 @@
#!/bin/bash #!/bin/bash
# run_vm_tests.sh - 用于在 RISC-V 虚拟机内部汇编、链接和测试 SysY 程序的脚本 # runit-riscv64.sh - 用于在 RISC-V 虚拟机内部汇编、链接和测试 SysY 程序的脚本
# 此脚本应位于您的项目根目录 (例如 /home/ubuntu/debug) # 此脚本应位于您的项目根目录 (例如 /home/ubuntu/debug)
# 假设当前运行环境已经是 RISC-V 64 位架构，可以直接执行编译后的程序。 # 假设当前运行环境已经是 RISC-V 64 位架构，可以直接执行编译后的程序。
# 脚本的目录结构应该为：
# .
# ├── runit.sh
# ├── lib
# │ └── libsysy_riscv.a
# └── testdata
# ├── functional
# └── performance
# 定义相对于脚本位置的目录 # 定义相对于脚本位置的目录
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" &>/dev/null && pwd)" SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" &>/dev/null && pwd)"
@@ -22,30 +14,23 @@ TESTDATA_DIR="${SCRIPT_DIR}/testdata"
GCC_NATIVE="gcc" # VM 内部的 gcc GCC_NATIVE="gcc" # VM 内部的 gcc
# --- 新增功能: 初始化变量 --- # --- 新增功能: 初始化变量 ---
TIMEOUT_SECONDS=5 # 默认运行时超时时间为 5 秒 GCC_TIMEOUT=10 # 默认 gcc 编译超时 (秒)
COMPILE_TIMEOUT_SECONDS=10 # 默认编译超时时间为 10 秒 EXEC_TIMEOUT=5 # 默认运行时超时 (秒)
TOTAL_CASES=0 TOTAL_CASES=0
PASSED_CASES=0 PASSED_CASES=0
FAILED_CASES_LIST="" # 用于存储未通过的测例列表
# 显示帮助信息的函数 # 显示帮助信息的函数
show_help() { show_help() {
echo "用法: $0 [选项]" echo "用法: $0 [选项]"
echo "此脚本用于在 RISC-V 虚拟机内部，对之前生成的 .s 汇编文件进行汇编、链接和测试。" echo "此脚本用于在 RISC-V 虚拟机内部，对之前生成的 .s 汇编文件进行汇编、链接和测试。"
echo "假设当前运行环境已经是 RISC-V 64 位架构，可以直接执行编译后的程序。" echo "测试会按文件名升序进行。"
echo "" echo ""
echo "选项:" echo "选项:"
echo " -c, --clean 清理 'tmp' 目录下的所有生成文件。" echo " -c, --clean 清理 'tmp' 目录下的所有生成文件。"
echo " -t, --timeout N 设置每个测试用例的运行时超时为 N 秒 (默认: 5)。" echo " -ct M 设置 gcc 编译的超时时间为 M 秒 (默认: 10)。"
echo " -ct, --compile-timeout M 设置 gcc 编译的超时时间为 M 秒 (默认: 10)。" echo " -t N 设置每个测试用例的运行时超时为 N 秒 (默认: 5)。"
echo " -h, --help 显示此帮助信息并退出。" echo " -h, --help 显示此帮助信息并退出。"
echo ""
echo "执行步骤:"
echo "1. 遍历 'tmp/' 目录下的所有 .s 汇编文件。"
echo "2. 在指定的超时时间内使用 VM 内部的 gcc 将 .s 文件汇编并链接为可执行文件。"
echo "3. 在指定的超时时间内运行编译后的可执行文件。"
echo "4. 根据对应的 .out 文件内容进行返回值和/或标准输出的比较。"
echo "5. 输出比较时会忽略行尾多余的换行符。"
echo "6. 所有测试结束后，报告总通过率。"
} }
# 清理临时文件的函数 # 清理临时文件的函数
@@ -69,23 +54,11 @@ while [[ "$#" -gt 0 ]]; do
clean_tmp clean_tmp
exit 0 exit 0
;; ;;
-t|--timeout) -t)
if [[ -n "$2" && "$2" =~ ^[0-9]+$ ]]; then if [[ -n "$2" && "$2" =~ ^[0-9]+$ ]]; then EXEC_TIMEOUT="$2"; shift; else echo "错误: -t 需要一个正整数参数。" >&2; exit 1; fi
TIMEOUT_SECONDS="$2"
shift # 移过参数值
else
echo "错误: --timeout 需要一个正整数参数。" >&2
exit 1
fi
;; ;;
-ct|--compile-timeout) -ct)
if [[ -n "$2" && "$2" =~ ^[0-9]+$ ]]; then if [[ -n "$2" && "$2" =~ ^[0-9]+$ ]]; then GCC_TIMEOUT="$2"; shift; else echo "错误: -ct 需要一个正整数参数。" >&2; exit 1; fi
COMPILE_TIMEOUT_SECONDS="$2"
shift # 移过参数值
else
echo "错误: --compile-timeout 需要一个正整数参数。" >&2
exit 1
fi
;; ;;
-h|--help) -h|--help)
show_help show_help
@@ -101,32 +74,26 @@ while [[ "$#" -gt 0 ]]; do
done done
echo "SysY VM 内部测试运行器启动..." echo "SysY VM 内部测试运行器启动..."
echo "编译超时设置为: ${COMPILE_TIMEOUT_SECONDS} 秒" echo "GCC 编译超时设置为: ${GCC_TIMEOUT} 秒"
echo "运行时超时设置为: ${TIMEOUT_SECONDS} 秒" echo "运行时超时设置为: ${EXEC_TIMEOUT} 秒"
echo "汇编文件目录: ${TMP_DIR}" echo "汇编文件目录: ${TMP_DIR}"
echo "库文件目录: ${LIB_DIR}"
echo "测试数据目录: ${TESTDATA_DIR}"
echo "" echo ""
# 查找 tmp 目录下的所有 .s 汇编文件 # 查找 tmp 目录下的所有 .s 汇编文件并排序
s_files=$(find "${TMP_DIR}" -maxdepth 1 -name "*.s") s_files=$(find "${TMP_DIR}" -maxdepth 1 -name "*.s" | sort -V)
TOTAL_CASES=$(echo "$s_files" | wc -w) TOTAL_CASES=$(echo "$s_files" | wc -w)
# 遍历找到的每个 .s 文件 # 使用 here-string (<<<) 避免子 shell 问题
echo "$s_files" | while read s_file; do while IFS= read -r s_file; do
# --- 新增功能: 初始化用例通过状态 ---
is_passed=1 # 1 表示通过, 0 表示失败 is_passed=1 # 1 表示通过, 0 表示失败
# 从 .s 文件名中提取原始的测试用例名称部分
base_name_from_s_file=$(basename "$s_file" .s) base_name_from_s_file=$(basename "$s_file" .s)
original_test_name_underscored=$(echo "$base_name_from_s_file" | sed 's/_sysyc_riscv64$//') original_test_name_underscored=$(echo "$base_name_from_s_file" | sed 's/_sysyc_riscv64$//')
# 将 `original_test_name_underscored` 分割成类别和文件名
category=$(echo "$original_test_name_underscored" | cut -d'_' -f1) category=$(echo "$original_test_name_underscored" | cut -d'_' -f1)
test_file_base=$(echo "$original_test_name_underscored" | cut -d'_' -f2-) test_file_base=$(echo "$original_test_name_underscored" | cut -d'_' -f2-)
original_relative_path="${category}/${test_file_base}" original_relative_path="${category}/${test_file_base}"
# 定义可执行文件、输入文件、参考输出文件和实际输出文件的路径
executable_file="${TMP_DIR}/${base_name_from_s_file}" executable_file="${TMP_DIR}/${base_name_from_s_file}"
input_file="${TESTDATA_DIR}/${original_relative_path}.in" input_file="${TESTDATA_DIR}/${original_relative_path}.in"
output_reference_file="${TESTDATA_DIR}/${original_relative_path}.out" output_reference_file="${TESTDATA_DIR}/${original_relative_path}.out"
@@ -136,21 +103,35 @@ echo "$s_files" | while read s_file; do
echo " 对应的测试用例路径: ${original_relative_path}" echo " 对应的测试用例路径: ${original_relative_path}"
# 步骤 1: 使用 VM 内部的 gcc 编译 .s 到可执行文件 # 步骤 1: 使用 VM 内部的 gcc 编译 .s 到可执行文件
echo " 使用 gcc 汇编并链接 (超时 ${COMPILE_TIMEOUT_SECONDS}s)..." echo " 使用 gcc 汇编并链接 (超时 ${GCC_TIMEOUT}s)..."
# --- 修改点: 为 gcc 增加 timeout --- timeout -s KILL ${GCC_TIMEOUT} "${GCC_NATIVE}" "${s_file}" -o "${executable_file}" -L"${LIB_DIR}" -lsysy_riscv -static -g
timeout ${COMPILE_TIMEOUT_SECONDS} "${GCC_NATIVE}" "${s_file}" -o "${executable_file}" -L"${LIB_DIR}" -lsysy_riscv -static -g
GCC_STATUS=$? GCC_STATUS=$?
if [ $GCC_STATUS -eq 124 ]; then if [ $GCC_STATUS -eq 124 ]; then
echo -e "\e[31m错误: GCC 编译/链接 ${s_file} 超时 (超过 ${COMPILE_TIMEOUT_SECONDS} 秒)\e[0m" echo -e "\e[31m错误: GCC 编译/链接 ${s_file} 超时\e[0m"
is_passed=0 is_passed=0
elif [ $GCC_STATUS -ne 0 ]; then elif [ $GCC_STATUS -ne 0 ]; then
echo -e "\e[31m错误: GCC 汇编/链接 ${s_file} 失败，退出码: ${GCC_STATUS}\e[0m" echo -e "\e[31m错误: GCC 汇编/链接 ${s_file} 失败，退出码: ${GCC_STATUS}\e[0m"
is_passed=0 is_passed=0
else fi
echo " 生成的可执行文件: ${executable_file}"
echo " 正在执行 (超时 ${TIMEOUT_SECONDS}s): \"${executable_file}\""
# 步骤 2: 执行编译后的文件并比较/报告结果 # 步骤 2: 只有当编译成功时才执行
if [ "$is_passed" -eq 1 ]; then
echo " 生成的可执行文件: ${executable_file}"
echo " 正在执行 (超时 ${EXEC_TIMEOUT}s)..."
exec_cmd="\"${executable_file}\""
if [ -f "${input_file}" ]; then
exec_cmd+=" < \"${input_file}\""
fi
exec_cmd+=" > \"${output_actual_file}\""
eval "timeout -s KILL ${EXEC_TIMEOUT} ${exec_cmd}"
ACTUAL_RETURN_CODE=$?
if [ "$ACTUAL_RETURN_CODE" -eq 124 ]; then
echo -e "\e[31m 执行超时: ${original_relative_path}.sy 运行超过 ${EXEC_TIMEOUT} 秒\e[0m"
is_passed=0
else
if [ -f "${output_reference_file}" ]; then if [ -f "${output_reference_file}" ]; then
LAST_LINE_TRIMMED=$(tail -n 1 "${output_reference_file}" | tr -d '[:space:]') LAST_LINE_TRIMMED=$(tail -n 1 "${output_reference_file}" | tr -d '[:space:]')
@@ -158,20 +139,7 @@ echo "$s_files" | while read s_file; do
EXPECTED_RETURN_CODE="$LAST_LINE_TRIMMED" EXPECTED_RETURN_CODE="$LAST_LINE_TRIMMED"
EXPECTED_STDOUT_FILE="${TMP_DIR}/${base_name_from_s_file}.expected_stdout" EXPECTED_STDOUT_FILE="${TMP_DIR}/${base_name_from_s_file}.expected_stdout"
head -n -1 "${output_reference_file}" > "${EXPECTED_STDOUT_FILE}" head -n -1 "${output_reference_file}" > "${EXPECTED_STDOUT_FILE}"
echo " 检测到 .out 文件同时包含标准输出和期望的返回码。"
echo " 期望返回码: ${EXPECTED_RETURN_CODE}"
if [ -f "${input_file}" ]; then
timeout ${TIMEOUT_SECONDS} "${executable_file}" < "${input_file}" > "${output_actual_file}"
else
timeout ${TIMEOUT_SECONDS} "${executable_file}" > "${output_actual_file}"
fi
ACTUAL_RETURN_CODE=$?
if [ "$ACTUAL_RETURN_CODE" -eq 124 ]; then
echo -e "\e[31m 执行超时: ${original_relative_path}.sy 运行超过 ${TIMEOUT_SECONDS} 秒\e[0m"
is_passed=0
else
if [ "$ACTUAL_RETURN_CODE" -eq "$EXPECTED_RETURN_CODE" ]; then if [ "$ACTUAL_RETURN_CODE" -eq "$EXPECTED_RETURN_CODE" ]; then
echo -e "\e[32m 返回码测试成功: (${ACTUAL_RETURN_CODE}) 与期望值 (${EXPECTED_RETURN_CODE}) 匹配\e[0m" echo -e "\e[32m 返回码测试成功: (${ACTUAL_RETURN_CODE}) 与期望值 (${EXPECTED_RETURN_CODE}) 匹配\e[0m"
else else
@@ -183,61 +151,53 @@ echo "$s_files" | while read s_file; do
echo -e "\e[32m 标准输出测试成功\e[0m" echo -e "\e[32m 标准输出测试成功\e[0m"
else else
echo -e "\e[31m 标准输出测试失败\e[0m" echo -e "\e[31m 标准输出测试失败\e[0m"
echo " 差异:"
diff "${output_actual_file}" "${EXPECTED_STDOUT_FILE}"
is_passed=0 is_passed=0
fi echo -e " \e[36m---------- 期望输出 ----------\e[0m"
cat "${EXPECTED_STDOUT_FILE}"
echo -e " \e[36m---------- 实际输出 ----------\e[0m"
cat "${output_actual_file}"
echo -e " \e[36m------------------------------\e[0m"
fi fi
else else
echo " 检测到 .out 文件为纯标准输出参考。" if [ $ACTUAL_RETURN_CODE -ne 0 ]; then
if [ -f "${input_file}" ]; then echo -e "\e[33m警告: 程序以非零状态 ${ACTUAL_RETURN_CODE} 退出 (纯输出比较模式)。\e[0m"
timeout ${TIMEOUT_SECONDS} "${executable_file}" < "${input_file}" > "${output_actual_file}"
else
timeout ${TIMEOUT_SECONDS} "${executable_file}" > "${output_actual_file}"
fi
EXEC_STATUS=$?
if [ $EXEC_STATUS -eq 124 ]; then
echo -e "\e[31m 执行超时: ${original_relative_path}.sy 运行超过 ${TIMEOUT_SECONDS} 秒\e[0m"
is_passed=0
else
if [ $EXEC_STATUS -ne 0 ]; then
echo -e "\e[33m警告: 程序以非零状态 ${EXEC_STATUS} 退出 (纯输出比较模式)。\e[0m"
fi fi
if diff -q <(sed ':a;N;$!ba;s/\n*$//' "${output_actual_file}") <(sed ':a;N;$!ba;s/\n*$//' "${output_reference_file}") >/dev/null 2>&1; then if diff -q <(sed ':a;N;$!ba;s/\n*$//' "${output_actual_file}") <(sed ':a;N;$!ba;s/\n*$//' "${output_reference_file}") >/dev/null 2>&1; then
echo -e "\e[32m 成功: 输出与参考输出匹配\e[0m" echo -e "\e[32m 成功: 输出与参考输出匹配\e[0m"
else else
echo -e "\e[31m 失败: 输出不匹配\e[0m" echo -e "\e[31m 失败: 输出不匹配\e[0m"
echo " 差异:"
diff "${output_actual_file}" "${output_reference_file}"
is_passed=0 is_passed=0
fi echo -e " \e[36m---------- 期望输出 ----------\e[0m"
cat "${output_reference_file}"
echo -e " \e[36m---------- 实际输出 ----------\e[0m"
cat "${output_actual_file}"
echo -e " \e[36m------------------------------\e[0m"
fi fi
fi fi
else else
echo " 未找到 .out 文件。正在运行并报告返回码。" echo " 无参考输出文件。程序返回码: ${ACTUAL_RETURN_CODE}"
timeout ${TIMEOUT_SECONDS} "${executable_file}"
EXEC_STATUS=$?
if [ $EXEC_STATUS -eq 124 ]; then
echo -e "\e[31m 执行超时: ${original_relative_path}.sy 运行超过 ${TIMEOUT_SECONDS} 秒\e[0m"
is_passed=0
else
echo " ${original_relative_path}.sy 的返回码: ${EXEC_STATUS}"
fi fi
fi fi
fi fi
# --- 新增功能: 更新通过用例计数 ---
if [ "$is_passed" -eq 1 ]; then if [ "$is_passed" -eq 1 ]; then
((PASSED_CASES++)) ((PASSED_CASES++))
else
FAILED_CASES_LIST+="${original_relative_path}.sy\n"
fi fi
echo "" # 为测试用例之间添加一个空行 echo ""
done done <<< "$s_files"
# --- 新增功能: 打印最终总结 ---
echo "========================================" echo "========================================"
echo "测试完成" echo "测试完成"
echo "测试通过率: [${PASSED_CASES}/${TOTAL_CASES}]" echo "测试通过率: [${PASSED_CASES}/${TOTAL_CASES}]"
if [ -n "$FAILED_CASES_LIST" ]; then
echo ""
echo -e "\e[31m未通过的测例:\e[0m"
echo -e "${FAILED_CASES_LIST}"
fi
echo "========================================" echo "========================================"
if [ "$PASSED_CASES" -eq "$TOTAL_CASES" ]; then if [ "$PASSED_CASES" -eq "$TOTAL_CASES" ]; then

15
test_script/runit.sh
View File

@@ -93,7 +93,7 @@ echo ""
sy_files=$(find "${TESTDATA_DIR}" -name "*.sy" | sort -V) sy_files=$(find "${TESTDATA_DIR}" -name "*.sy" | sort -V)
TOTAL_CASES=$(echo "$sy_files" | wc -w) TOTAL_CASES=$(echo "$sy_files" | wc -w)
# --- 本次修复: 使用 here-string (<<<) 代替管道 (|) 来避免子 shell 问题 --- # --- 修复: 使用 here-string (<<<) 代替管道 (|) 来避免子 shell 问题 ---
# 这样可以确保循环内的 PASSED_CASES 变量修改在循环结束后依然有效 # 这样可以确保循环内的 PASSED_CASES 变量修改在循环结束后依然有效
while IFS= read -r sy_file; do while IFS= read -r sy_file; do
is_passed=1 # 1 表示通过, 0 表示失败 is_passed=1 # 1 表示通过, 0 表示失败
@@ -111,7 +111,8 @@ while IFS= read -r sy_file; do
# 步骤 1: 使用 sysyc 编译 .sy 到 .s # 步骤 1: 使用 sysyc 编译 .sy 到 .s
echo " 使用 sysyc 编译 (超时 ${SYSYC_TIMEOUT}s)..." echo " 使用 sysyc 编译 (超时 ${SYSYC_TIMEOUT}s)..."
timeout ${SYSYC_TIMEOUT} "${SYSYC}" -S "${sy_file}" -o "${assembly_file}" # --- 本次修改点: 增加 -s KILL 确保超时后进程被终止 ---
timeout -s KILL ${SYSYC_TIMEOUT} "${SYSYC}" -S "${sy_file}" -o "${assembly_file}"
SYSYC_STATUS=$? SYSYC_STATUS=$?
if [ $SYSYC_STATUS -eq 124 ]; then if [ $SYSYC_STATUS -eq 124 ]; then
echo -e "\e[31m错误: SysY 编译 ${sy_file} 超时\e[0m" echo -e "\e[31m错误: SysY 编译 ${sy_file} 超时\e[0m"
@@ -125,7 +126,8 @@ while IFS= read -r sy_file; do
if ${EXECUTE_MODE} && [ "$is_passed" -eq 1 ]; then if ${EXECUTE_MODE} && [ "$is_passed" -eq 1 ]; then
# 步骤 2: 使用 riscv64-linux-gnu-gcc 编译 .s 到可执行文件 # 步骤 2: 使用 riscv64-linux-gnu-gcc 编译 .s 到可执行文件
echo " 使用 gcc 编译 (超时 ${GCC_TIMEOUT}s)..." echo " 使用 gcc 编译 (超时 ${GCC_TIMEOUT}s)..."
timeout ${GCC_TIMEOUT} "${GCC_RISCV64}" "${assembly_file}" -o "${executable_file}" -L"${LIB_DIR}" -lsysy_riscv -static # --- 本次修改点: 增加 -s KILL 确保超时后进程被终止 ---
timeout -s KILL ${GCC_TIMEOUT} "${GCC_RISCV64}" "${assembly_file}" -o "${executable_file}" -L"${LIB_DIR}" -lsysy_riscv -static
GCC_STATUS=$? GCC_STATUS=$?
if [ $GCC_STATUS -eq 124 ]; then if [ $GCC_STATUS -eq 124 ]; then
echo -e "\e[31m错误: GCC 编译 ${assembly_file} 超时\e[0m" echo -e "\e[31m错误: GCC 编译 ${assembly_file} 超时\e[0m"
@@ -140,7 +142,6 @@ while IFS= read -r sy_file; do
if [ "$is_passed" -eq 1 ]; then if [ "$is_passed" -eq 1 ]; then
((PASSED_CASES++)) ((PASSED_CASES++))
else else
# --- 本次修改点 ---
FAILED_CASES_LIST+="${relative_path_no_ext}.sy\n" FAILED_CASES_LIST+="${relative_path_no_ext}.sy\n"
fi fi
echo "" echo ""
@@ -159,7 +160,8 @@ while IFS= read -r sy_file; do
exec_cmd+=" > \"${output_actual_file}\"" exec_cmd+=" > \"${output_actual_file}\""
# 执行并捕获返回码 # 执行并捕获返回码
eval "timeout ${EXEC_TIMEOUT} ${exec_cmd}" # --- 本次修改点: 增加 -s KILL 确保超时后进程被终止 ---
eval "timeout -s KILL ${EXEC_TIMEOUT} ${exec_cmd}"
ACTUAL_RETURN_CODE=$? ACTUAL_RETURN_CODE=$?
if [ "$ACTUAL_RETURN_CODE" -eq 124 ]; then if [ "$ACTUAL_RETURN_CODE" -eq 124 ]; then
@@ -219,7 +221,6 @@ while IFS= read -r sy_file; do
fi fi
# 更新通过用例计数 # 更新通过用例计数
# --- 本次修改点 ---
if [ "$is_passed" -eq 1 ]; then if [ "$is_passed" -eq 1 ]; then
((PASSED_CASES++)) ((PASSED_CASES++))
else else
@@ -234,7 +235,7 @@ echo "========================================"
echo "测试完成" echo "测试完成"
echo "测试通过率: [${PASSED_CASES}/${TOTAL_CASES}]" echo "测试通过率: [${PASSED_CASES}/${TOTAL_CASES}]"
# --- 本次修改点: 打印未通过的测例列表 --- # --- 打印未通过的测例列表 ---
if [ -n "$FAILED_CASES_LIST" ]; then if [ -n "$FAILED_CASES_LIST" ]; then
echo "" echo ""
echo -e "\e[31m未通过的测例:\e[0m" echo -e "\e[31m未通过的测例:\e[0m"