A pytest results analyzer with llm.
- 报告摘要生成 自动生成 pytest 执行的整体摘要,包括通过率、失败数、平均执行时间等。
- 失败用例语义分析 对失败测试项进行自然语言分析,解释异常堆栈可能的原因。
示例输出:
Test case: test_login_with_invalid_token
可能原因:登录函数未处理过期 token,返回异常导致断言失败。
建议:在 login_handler 中添加 token 有效期检查逻辑。
-
原始代码上下文分析 通过 ast 或 inspect 获取失败函数源码,连同 traceback 一起输入 LLM,提高分析准确性。
-
测试建议生成 LLM 根据失败模式给出新测试用例建议(如边界条件、异常输入)。
-
历史趋势对比(进阶) 比较多次运行的报告,检测“新出现的失败”、“已修复用例”,自动生成变更摘要。