AI质量专项报告自动分析生成

原创笠 2025-08-13 18:30 上海

在日常工作中，需通过各项数据指标输出归因，分析数据变化原因，做出决策变化，为此，引入了研发效能AI 智能体平台，不仅改进了数据处理方式，还提升了报告生成的效率和准确性，从而增强了业务洞察力，相似场景处理也可以借此进行优化，有望多领域推广应用

一、背景

二、应用实践

1. 实践效果

2. 数据处理

3. 模型提示词

4. 优化输出

三、总结

四、后续规划

一

背景

在日常工作中，常需要通过各项数据指标，确保驱动版本项目进展正常推进，并通过各种形式报表数据，日常总结日报、周会进展、季度进行总结输出归因，分析数据变化原因，做出对应决策变化，优化运营方式，目前在梳理整理校准分析数据需要大量的时间投入、结合整体目标及当前进展，分析问题优化的后续规划。

常见形式

人工收集

数据来源依赖于各系统平台页面，通过人工收集校准后填写再通过表格公式计算，或者可以通过多维表格工作流触发通知等功能。

quickbi报表

通过ODPS搭建自定义报表，实现快速收集数据，复制报表到飞书文档内进行异动分析。

平台能力开发

通过代码开发文档导出能力，根据固定模板生成数据分析，该能力开发人力成本较高，需要针对不同平台数据源定制化开发。

AI Studio智能体平台

研发效能团队基于开源Dify项目社区部署，可以根据需求自定义sop，多模型的可选项，选择最适合业务的模型。每个工作流节点可自定义流程的判断分析，轻松上线可投产的AI Agents。

Dify是一个支持工作流编排的AI智能体平台，轻松构建并部署生产级 AI 应用。其核心功能包含：

以工作流的方式编排AI应用，在工作流中可以添加LLM、知识库、Agent工具、MCP服务等节点，工作流支持分支流转、节点循环、自定义节点等高级能力项。

支持在工作流中调用公司内部的Dubbo/gRPC服务。（插件实现）

知识库管理，通过构建私有知识库以增强 LLM 的上下文。

与内部平台集成，支持H5页面嵌入、API的方式与内部平台集成。

主流模型集成，支持使用多种主流模型如DeepSeek、OpenAI等，支持多模态模型。

对标的业界产品有：

扣子：https://www.coze.cn

FastGPT：https://tryfastgpt.ai

n8n：https://n8n.io

✅ 多模型选择（适配不同业务场景）

✅ 可视化工作流搭建（支持自定义SOP）

✅ 全链路可观测性（实时调试优化）

综上本期实践利用AI工作流平台针对报告进行生成分析输出，让使用方回归到聚焦数据归因分析上，减少数据收集分析、文档编写成本。

二

应用实践

实践效果

整体分析数据从哪来->需要输出什么样的格式->优化模型输出结果，三步骤针对输出结果进行调优。

自动化成熟度分析工作流搭建案例

运用效果

※ 报告效果

※ 飞书机器人通知归因分析

数据处理

LLM：通过用户输入分析获取数据源请求格式，配置好对应数据的映射关系模型自行获取对应数据。

提示词输入

格式化输出配置

http请求：通过用户输入分析后的参数构造请求参数，通过固定接口拉取数据，支持curl导入功能。

代码执行：支持python、js代码对结果数据进行处理过滤，提升分析结果准确性。

模型提示词

如文档整体分为不同模块可设定不同模型节点处理，每个模块增加特定提示词处理节点内容，模型并行分析处理，提升输出稳定性和输出效率，再通过LLM输出整合进行整体输出。

在模型输入上下文及用户输入，通过获取的数据指定输出格式，设定提示词，提供AI结合模板输出对应形式。

通过衔接上下节点返回内容最终整合报表输出结果，统一输出样式格式。

优化输出

切换可用模型

遇到模型输出不稳定或者未达到预期效果，可切换可用模型，寻找适配模型。

设定模型预载参数

设定模型预载参数，提升模型输出准确度。

优化增加提示词

优化增加提示词提升输出形式稳定性：角色定义 -> 字段映射 -> 模板说明 -> 实际数据填充 -> 输出格式定义。

## 角色定义
你是一位接口自动化测试专家以及报告生成专家，负责将接口返回的数据映射字段结合模板输出一份有效的自动化成熟度报告-稳定性部分。
## 接口返回数据字段映射关系：
基础字段：
bu_name:业务域名称。
parent_bu_id:业务域。

稳定性指标字段：
total_auto_stability_score：稳定性评分
iter_case_success_rate: 迭代自动化成功率
iter_case_success_rate_cpp: 迭代自动化成功率环比
auto_case_failed_rate: 自动化失败率
auto_case_failed_rate_cpp: 自动化失败率环比
case_aigc_avg_score: 用例健壮有效性评分
case_aigc_avg_score_cpp: 有效性评分环比

## 模板：
2.2 自动化稳定性
用表格展示自动化稳定性，表格内容包含所有一级业务域、二级业务域。
表头按照顺序输出：
1、业务域
2、自动化稳定性评分
3、迭代自动化成功率
4、迭代自动化成功率环比
5、自动化失败率 
6、失败率环比
7、用例健壮有效性评分
8、有效性评分环比

重点关注项：xxx --仅分析二级业务域的稳定性性指标字段，列出需重点关注指标。

## 模板说明：
1、以html格式输出，增加内容丰富度，不输出任何多余内容。
2、表格说明：表格需要包含所有业务域数据。不要省略或者缺少任何业务域数据，将所有业务域展示在同一个表格内。
3、表格行排序：根据评分从高到低排序。
4、环比字段说明：指标环比下降环比字段标记红色，环比提升字段标记绿色，不标记背景色。

## 任务说明
1、用户将提供接口返回的JSON数据。
2、根据接口数据和匹配字段映射关系。
3、结合模板以及模板说明html形式输出，不输出任何多余内容。
请你根据以上内容，回复用户，不需要输出示例。