资源水位：和关注数据库的CPU利用率一样，使用大模型也需要关注限流指标QPM和Token的使用率。目前百炼还不支持基于QPM/Token使用率进行告警，所以需要用户在日志中打印使用率指标后进行实时统计，当水位信息接近流控阈值时及时进行限流或联系阿里云进行扩容，避免业务受损。

分析维度（应用、功能模块）：打印应用、功能模块是因为在实际场景中，经常会在多个应用或同一个应用内多个模块使用同一个阿里云账号的情况。当此时出现问题时，从阿里云的视角无法快速区分是哪个应用或模块的问题。

分析维度（模型、工作空间）：针对具体的云账号，目前百炼支持模型+工作空间维度的限流管控。

用户差评率：类似电商关注交易下单数、交易成功率等指标一样，某些业务指标也可以从侧面反馈系统是否出现问题。而大模型应用如果有实时收集用户的反馈，则可以通过差评率体现用户体验是否受损。

<property name="LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p [traceId:%X{traceId}] [%c{3}#%method\(\):%L] [%thread] - %m%n" />

        long t1 = System.currentTimeMillis();
        try {
            Generation gen = new Generation();
            Message systemMsg = Message.builder()
                    .role(Role.SYSTEM.getValue())
                    .content("You are a helpful assistant.")
                    .build();
            Message userMsg = Message.builder()
                    .role(Role.USER.getValue())
                    .content(prompt)
                    .build();
            GenerationParam param = GenerationParam.builder()
                    .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                    .model(model)
                    .workspace(workspace)
                    .messages(Arrays.asList(systemMsg, userMsg))
                    .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                    .build();

            logger.debug("prompt:{}", prompt);
            GenerationResult result = gen.call(param);
            long t2 = System.currentTimeMillis();
            /** 日志传参
             * app 应用名称
             * module 模块
             * model 模型名称
             * workspace 百炼工作空间
             * requestId 请求ID
             * statusCode 状态码 = https://help.aliyun.com/zh/model-studio/error-code 中的 HTTP 返回码
             * time 消耗时间
             * inputTokens 输入token数量
             * outputTokens 输出token数量
             * totalTokens 消耗token数量
             * error_code 错误码   = https://help.aliyun.com/zh/model-studio/error-code 中的 错误代码 Code
             * error_message 错误信息 = https://help.aliyun.com/zh/model-studio/error-code 中的 错误信息 Message
             *
             */
            logger.info("{},{},{},{},{},{},{},{},{},{},{},{}", app, module, model, workspace, result.getRequestId(), 200, t2 - t1, result.getUsage().getInputTokens(), result.getUsage().getOutputTokens(), result.getUsage().getTotalTokens(), "", "");
            logger.debug("result:{}", JSON.toJSONString(result));
            return result.getOutput().getChoices().get(0).getMessage().getContent();
        } catch (ApiException e) {
            long t2 = System.currentTimeMillis();
            logger.error("{},{},{},{},{},{},{},{},{},{},{},{}", app, module, model, workspace, e.getStatus().getRequestId(), e.getStatus().getStatusCode(), t2 - t1, 0, 0, 0, e.getStatus().getCode(), e.getStatus().getMessage());
            thrownew RuntimeException(e.getLocalizedMessage());
        } catch (InputRequiredException e) {
            long t2 = System.currentTimeMillis();
            logger.error("{},{},{},{},{},{},{},{},{},{},{},{}", app, module, model, workspace, "", "", t2 - t1, 0, 0, 0, "InputRequired", e.getLocalizedMessage());
            thrownew RuntimeException(e.getLocalizedMessage());
        } catch (NoApiKeyException e) {
            long t2 = System.currentTimeMillis();
            logger.error("{},{},{},{},{},{},{},{},{},{},{},{}", app, module, model, workspace, "", "", t2 - t1, 0, 0, 0, "NoApiKey", e.getLocalizedMessage());
            thrownew RuntimeException(e.getLocalizedMessage());
        }

2025-07-0914:23:24.748 INFO  [traceId:41ea65e3-0b4c-4b65-8567-325a6128eddf] [c.a.c.s.i.ChatServiceImpl#chat():67] [http-nio-8080-exec-1] - bailian-log,Chat,qwen-plus,llm-6qtsrlugmu6wanfs,6c958db4-d489-9de8-b5d4-9fc872f24ce2,200,1141,24,9,33,,

2025-07-0914:08:26.833 ERROR [traceId:63384a39-bbfe-489b-a290-6635975fc633] [c.a.c.s.i.ChatServiceImpl#chat():72] [http-nio-8080-exec-3] - bailian-log,Chat,qwen-plus,llm-6qtsrlugmu6wanfs,83a0cb5d-07f9-9fd2-9985-1c05b339f5d5,401,38,0,0,0,InvalidApiKey,Invalid API-key provided.

        if (this.encoder == null || this.includeMessage) {
            String message = event.getFormattedMessage();

            if(message.matches(regex)){
                // 符合格式，提取字段内容
                String[] fields = message.split(",", -1); // 使用 -1 参数保留空字段
                // 提取字段内容
                String app = fields[0];
                String module = fields[1];
                String model = fields[2];
                String workspace = fields[3];
                String requestId = fields[4];
                String statusCode = fields[5];
                String duration = fields[6];
                String inputTokens = fields[7];
                String outputTokens = fields[8];
                String totalTokens = fields[9];
                String errorCode = fields[10]; 
                String errorMessage = fields[11]; 

                item.PushBack("app", app);
                item.PushBack("module", module);
                item.PushBack("model", model);
                item.PushBack("workspace", workspace);
                item.PushBack("requestId", requestId);
                item.PushBack("statusCode", statusCode);
                item.PushBack("duration", duration);
                item.PushBack("inputTokens", inputTokens);
                item.PushBack("outputTokens", outputTokens);
                item.PushBack("totalTokens",totalTokens);
                item.PushBack("errorCode", errorCode);
                item.PushBack("errorMessage", errorMessage);
            }else{
                item.PushBack("message", message);
            }
        }

核心指标：查看当前调用情况，包括总调用量、200调用量、异常调用量（总量-200）、429调用量、5XX调用量、其他错误码调用量（异常调用量-429调用量-5XX调用量）以及平均延迟。用于判断整体是否有异常。
下钻分析：通过对不同视角的下钻分析（时间、应用+功能模块+模型名称、模型名称+工作空间、错误类型），定位问题的原因。
调用明细：提供各维度的调用记录轻度聚合。详细的单条日志可以使用日志服务的日志查询。

整体水位：全部模型当前水位情况。用于快速判断当前时间水位是否正常。
核心模型水位：账号维度核心模型的水位。针对核心模型的账号级水位情况。
核心模型空间水位：在配置空间的水位限流的情况下，账号维度核心模型的水位。

异常调用：通过异常调用量、成功率了解出现异常调用。根据429、5XX查看常见错误码的异常量。
调用耗时：结合业务情况查看耗时是否异常。这里demo未使用流式模式，所以只监控了平均耗时。如果是流式模式还需要监控平均调用时长和平均首包时长。

失败数/成功率大于业务约定的阈值；
响应时间RT大于业务约定的阈值；
资源水位QPM使用率/Token使用率；

百炼：在模型观测和应用观测中提供了标准的监控告警能力。可以过滤时间、推理类型、业务空间，监控包含总调用次数、总失败次数、平均调用时长、平均首包时长，并提供模型粒度的调用统计监控和性能指标。
云监控（CloudMonitor）：以模型维度为核心，提供调用量、失败量、平均调用时长等基础模型指标的监控告警，保障服务稳定性；
ARMS（应用实时监控服务）：聚焦应用层性能，深度追踪API调用链路、请求成功率等业务指标，支持大模型服务的端到端可观测性。

查看日志找到具体的问题，根据TraceID，可以看到整个请求的上下文信息。
从核心指标可以确认问题的范围，判断是大面积发生还是零星的问题。
根据时间趋势，可以查看问题的时间，定位到问题发生事件。
从应用下钻，分析都有哪些应用受到影响，方便从业务侧收集影响面，并及时开展应急止血。
从工作空间&模型下钻，快读定位是哪些模型的问题还是全面的问题。特别是对于工作空间级的限流问题，可以快速定位到问题。
结合核心模型的表现，确认关键业务是否受损。
从错误码来看具体是什么原因导致的，从而开启后续的预案。
对于限流类问题或者水位高告警类问题，通过账号级当前限流、核心模型限流情况、工作空间限流情况，快速定位限流模型和工作空间范围，便于快速开启预案。

欢迎留言一起参与讨论~

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。

FishAI

鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑

联系邮箱 441953276@qq.com