高可用架构：Prometheus 双副本部署，通过 Remote Write 统一写入 VictoriaMetrics 集群
告警中枢：外置 AlertManager 集群实现告警收敛，通过 Webhook 对接告警系统
数据持久化：alertsnitch 组件实现告警事件存储，VictoriaMetrics 作为统一时序数据库
可视化层：Grafana 统一对接 VictoriaMetrics 数据源，实现监控数据可视化

route:
  group_by: [appid, alertname]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 3h
  receiver: 'default-receiver'

# 添加 Helm 仓库
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts

# 下载 Chart 包（注意 k8s 和 Prometheus-Operator 的对应关系）
helm pull prometheus-community/kube-prometheus-stack --version 69.8.2
tar -xvf kube-prometheus-stack-69.8.2.tgz
cd kube-prometheus-stack/

# 镜像加速
chmod +x update_registry.sh
./update_registry.sh
# 安装
helm -n monitoring install kube-prometheus-stack ./ --create-namespace

#!/bin/bash
# 自动化镜像地址替换脚本 demo
find ./ -type f -name "*.yaml" -exec sed -i \
    -e 's|registry.k8s.io|m.daocloud.io/registry.k8s.io|g' \
    -e 's|quay.io|m.daocloud.io/quay.io|g' \
    -e 's|docker.io|m.daocloud.io/docker.io|g' {} \;

# customresourcestate-argo.yaml
resources:
  - groupVersionKind:
      group: argoproj.io
      version: v1alpha1
      kind: Rollout
    metrics:
      - name: argo_rollout_appid
        help: "Argo Rollout application identifier"
        each:
          type: Info
          info:
            labelsFromPath:
              exported_namespace: [metadata, namespace]
            metricLabels:
              appid: .metadata.labels.appid

kubectl -n monitoring create configmap customresourcestate-config --from-file=customresourcestate-argo.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: kube-state-metrics-argo
rules:
- apiGroups: ["apiextensions.k8s.io"]
  resources: ["customresourcedefinitions"]
  verbs: ["list", "watch"]
- apiGroups: ["argoproj.io"]
  resources: ["rollouts"]
  verbs: ["list", "watch"]

containers:
- args:
  - --custom-resource-state-config-file=/etc/config/customresourcestate-argo.yaml
  volumeMounts:
  - name: config-volume
    mountPath: /etc/config
volumes:
- name: config-volume
  configMap:
    name: customresourcestate-config

# 获取带有 AppID 的 Rollout 副本可用率
kube_argo_rollouts_status_replicas_available 
* on(namespace, rollout_name) group_left(appid)
kube_customresource_argo_rollout_appid

资源维度：CPU/Memory 限流分析、存储 IOPS、网络吞吐量
运行时指标：FD 使用率、线程数统计、TCP 连接状态
业务指标：QPS/TPS、错误率、健康检查成功率
事件中心：Kubernetes 事件流、应用日志聚合

#!/bin/bash

# 检测操作系统类型
if [[ "$(uname)" == "Darwin" ]]; then
  # macOS
  SED_CMD="sed -i ''"
else
  # Linux 和其他
  SED_CMD="sed -i"
fi

# 查找当前目录及子目录下的所有 YAML 文件
find . -type f -name "values.yaml" -o -name "values.yml" | while read yaml_file; do
  echo "处理文件: $yaml_file"

  # 使用 awk 处理整个文件，以处理隔行的 registry 和 repository
  awk -v file="$yaml_file" -v sed_cmd="$SED_CMD" '
  BEGIN { registry = ""; in_block = 0; }

  /registry:/ {
    # 提取 registry 值
    for (i=1; i<=NF; i++) {
      if ($i == "registry:") {
        registry = $(i+1);
        gsub(/[",]/, "", registry);  # 移除可能的引号和逗号
        in_block = 1;
        print "找到 registry:", registry, "在文件", file;
      }
    }
  }

  /repository:/ {
    if (in_block && registry != "") {
      # 提取 repository 值
      for (i=1; i<=NF; i++) {
        if ($i == "repository:") {
          repo = $(i+1);
          gsub(/[",]/, "", repo);  # 移除可能的引号和逗号
          print "找到匹配的 repository:", repo, "在文件", file;

          # 构建并执行 sed 命令
          cmd = sed_cmd " '\''s|repository: " repo "|repository: " registry "/" repo "|g'\'' " file;
          system(cmd);

          # 重置状态
          in_block = 0;
          registry = "";
        }
      }
    }
  }
  # 如果遇到新的块开始，重置状态
  /^[^ ]/ {
    if ($1 != "registry:" && $1 != "repository:") {
      in_block = 0;
      registry = "";
    }
  }
  ' "$yaml_file"
  # 然后替换所有 registry 地址
  $SED_CMD 's|registry: docker.io|registry: m.daocloud.io|g' "$yaml_file"
  $SED_CMD 's|registry: registry.k8s.io|registry: m.daocloud.io|g' "$yaml_file"
  $SED_CMD 's|registry: quay.io|registry: m.daocloud.io|g' "$yaml_file"
  $SED_CMD 's|registry: ghcr.io|registry: m.daocloud.io|g' "$yaml_file"

  echo "完成处理: $yaml_file"
done

echo "所有 YAML 文件处理完成！"

作者丨ClayWangzhi

来源丨公众号：SRE运维进阶之路（ID：sre-k8s）

dbaplus社群欢迎广大技术人员投稿，投稿邮箱：editor@dbaplus.cn

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。

FishAI

鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑

联系邮箱 441953276@qq.com