集中化管理:100个微服务分散在50台服务器上,如何快速找到某个请求的完整链路日志?

拥有完善日志系统的团队,故障平均修复时间缩短70%

方式:SSH登录服务器,tail -f查看日志文件

架构:Agent采集 → 缓冲队列 → 存储 → 搜索/可视化

轻量级:Loki(Prometheus风格的日志系统)

Elasticsearch:分布式搜索引擎,存储和检索日志

应用 → Logstash → Elasticsearch → Kibana
         ↑
     Filebeat/Beats(轻量级采集器)

Fluentd:CNCF项目,用Ruby开发,内存占用更低

应用 → Promtail → Loki → Grafana

成本敏感:预算有限,每个月的日志系统成本不能超过服务器成本的20%

# 1. Elasticsearch集群(至少3节点保证高可用)
# docker-compose.yml
version:'3'
services:
es01:
image:docker.elastic.co/elasticsearch/elasticsearch:8.11.0
environment:
-node.name=es01
-cluster.name=es-cluster
-discovery.seed_hosts=es02,es03
-cluster.initial_master_nodes=es01,es02,es03
-bootstrap.memory_lock=true
-"ES_JAVA_OPTS=-Xms4g -Xmx4g"
ulimits:
memlock:
soft:-1
hard:-1
volumes:
-es01_data:/usr/share/elasticsearch/data
ports:
-9200:9200


es02:
image:docker.elastic.co/elasticsearch/elasticsearch:8.11.0
environment:
-node.name=es02
-cluster.name=es-cluster
-discovery.seed_hosts=es01,es03
-cluster.initial_master_nodes=es01,es02,es03
-"ES_JAVA_OPTS=-Xms4g -Xmx4g"
volumes:
-es02_data:/usr/share/elasticsearch/data


es03:
image:docker.elastic.co/elasticsearch/elasticsearch:8.11.0
environment:
-node.name=es03
-cluster.name=es-cluster
-discovery.seed_hosts=es01,es02
-cluster.initial_master_nodes=es01,es02,es03
-"ES_JAVA_OPTS=-Xms4g -Xmx4g"
volumes:
-es03_data:/usr/share/elasticsearch/data


# 2. Kibana
kibana:
image:docker.elastic.co/kibana/kibana:8.11.0
ports:
-5601:5601
environment:
ELASTICSEARCH_HOSTS:'["http://es01:9200"]'


# 3. Logstash
logstash:
image:docker.elastic.co/logstash/logstash:8.11.0
ports:
-5044:5044
volumes:
-./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
environment:
-"LS_JAVA_OPTS=-Xms2g -Xmx2g"


volumes:
es01_data:
es02_data:
es03_data:

input {
  beats {
    port => 5044
  }
}


filter {
# 解析JSON日志
if [message] =~ /^\{.*\}$/ {
    json {
      source => "message"
    }
  }


# 解析Nginx日志
if [fields][type] == "nginx" {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
    date {
      match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
    }
  }


# 添加地理位置信息
  geoip {
    source => "client_ip"
  }
}


output {
  elasticsearch {
    hosts => ["es01:9200", "es02:9200", "es03:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

# filebeat.yml
filebeat.inputs:
-type:log
enabled:true
paths:
-/var/log/app/*.log
fields:
app:myapp
env:production


output.logstash:
hosts: ["logstash:5044"]


processors:
-add_host_metadata:~
-add_cloud_metadata:~

Elasticsearch(3节点):每节点4核8G内存,100GB SSD

<source>
@type tail
  path /var/log/app/*.log
  pos_file /var/log/td-agent/app.log.pos
  tag app.logs
  <parse>
@type json
    time_key time
    time_format %Y-%m-%dT%H:%M:%S.%NZ
  </parse>
</source>


<filter app.logs>
@type record_transformer
  <record>
    hostname ${hostname}
    env production
  </record>
</filter>


<match app.logs>
@type elasticsearch
  host es01
  port 9200
  logstash_format true
  logstash_prefix logs
  <buffer>
    flush_interval 5s
    flush_thread_count 2
  </buffer>
</match>

[SERVICE]
    Flush        5
    Daemon       Off
    Log_Level    info


[INPUT]
    Name              tail
    Path              /var/log/app/*.log
    Parser            json
    Tag               app.*


[OUTPUT]
    Name              es
    Match             *
    Host              es01
    Port              9200
    Index             logs
    Type              _doc
    Logstash_Format   On
    Logstash_Prefix   logs
    Retry_Limit       False

Fluentd:内存占用200-500MB(比Logstash的1-2GB低得多)
Fluent Bit:内存占用仅50-100MB(最轻量)
其余组件与ELK相同

# docker-compose.yml
version:'3'
services:
loki:
image:grafana/loki:2.9.3
ports:
-"3100:3100"
volumes:
-./loki-config.yaml:/etc/loki/local-config.yaml
-loki_data:/loki
command:-config.file=/etc/loki/local-config.yaml


promtail:
image:grafana/promtail:2.9.3
volumes:
-/var/log:/var/log
-./promtail-config.yaml:/etc/promtail/config.yml
command:-config.file=/etc/promtail/config.yml


grafana:
image:grafana/grafana:10.2.0
ports:
-"3000:3000"
environment:
-GF_AUTH_ANONYMOUS_ENABLED=true
-GF_AUTH_ANONYMOUS_ORG_ROLE=Admin
volumes:
-grafana_data:/var/lib/grafana


volumes:
loki_data:
grafana_data:

auth_enabled:false


server:
http_listen_port:3100


ingester:
lifecycler:
address:127.0.0.1
ring:
kvstore:
store:inmemory
replication_factor:1
chunk_idle_period:5m
chunk_retain_period:30s


schema_config:
configs:
-from:2020-10-24
store:boltdb-shipper
object_store:filesystem
schema:v11
index:
prefix:index_
period:24h


storage_config:
boltdb_shipper:
active_index_directory:/loki/index
cache_location:/loki/cache
shared_store:filesystem
filesystem:
directory:/loki/chunks


limits_config:
reject_old_samples:true
reject_old_samples_max_age:168h
ingestion_rate_mb:10
ingestion_burst_size_mb:20


chunk_store_config:
max_look_back_period:0s


table_manager:
retention_deletes_enabled:true
retention_period:336h# 14天保留

server:
http_listen_port:9080
grpc_listen_port:0


positions:
filename:/tmp/positions.yaml


clients:
-url:http://loki:3100/loki/api/v1/push


scrape_configs:
-job_name:system
static_configs:
-targets:
-localhost
labels:
job:varlogs
__path__:/var/log/*.log


-job_name:app
static_configs:
-targets:
-localhost
labels:
job:app
env:production
__path__:/var/log/app/*.log
pipeline_stages:
-json:
expressions:
level:level
message:message
-labels:
level:

Loki(单节点):2核4G内存,50GB SSD
Promtail:100MB内存
Grafana:1核2G内存
总计:3核6G内存,50GB存储

全文索引:对日志内容建立倒排索引,支持强大的全文搜索

原始日志:100GB/天 × 30天 = 3TB
ES存储(含副本):3TB × 0.3(压缩) × 2(副本) = 1.8TB SSD
阿里云SSD成本:1.8TB × 1元/GB/月 = 1800元/月
年成本:21600元

热数据:100GB × 7天 × 0.3 × 2 = 420GB SSD = 420元/月
冷数据:100GB × 23天 × 0.3 × 2 = 1380GB HDD = 420元/月(HDD约0.3元/GB/月)
年成本:10080元

热数据:420GB SSD = 420元/月
冷数据:100GB × 23天 = 2.3TB OSS = 350元/月(OSS约0.15元/GB/月)
年成本:9240元

# ILM(Index Lifecycle Management)策略
PUT_ilm/policy/logs_policy
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_size":"50GB",
"max_age":"1d"
          }
        }
      },
"warm": {
"min_age":"7d",
"actions": {
"allocate": {
"require": {
"data":"warm"
            }
          },
"forcemerge": {
"max_num_segments":1
          },
"shrink": {
"number_of_shards":1
          }
        }
      },
"cold": {
"min_age":"30d",
"actions": {
"allocate": {
"require": {
"data":"cold"
            }
          }
        }
      },
"delete": {
"min_age":"90d",
"actions": {
"delete": {}
        }
      }
    }
  }
}

热数据(7天内):亚秒级响应

只索引标签:不对日志内容建索引,只索引时间戳和标签

原始日志:100GB/天 × 30天 = 3TB
Loki存储(高压缩):3TB × 0.1 = 300GB
本地SSD成本:300GB × 1元/GB/月 = 300元/月
年成本:3600元

原始日志:100GB/天 × 90天 = 9TB
Loki存储:9TB × 0.1 = 900GB
OSS成本:900GB × 0.15元/GB/月 = 135元/月
年成本:1620元

Loki方案2(90天) < ELK方案3(30天)

storage_config:
aws:
s3:s3://region/bucket
sse_encryption:true
boltdb_shipper:
active_index_directory:/loki/index
cache_location:/loki/cache
shared_store:s3


schema_config:
configs:
-from:2020-10-24
store:boltdb-shipper
object_store:s3
schema:v11

标签精确匹配:亚秒级(如 {app="nginx", level="error"})

复杂聚合:5-30秒(LogQL支持,但比Elasticsearch慢)

不支持全文搜索(只能按标签筛选后过滤内容)

强大的全文搜索:支持模糊搜索、通配符、正则表达式、相似度搜索 

Discover:实时日志查询和浏览

# 精确匹配
app:"nginx" AND status:500


# 范围查询
response_time:>1000 AND @timestamp:[now-1h TO now]


# 通配符
message:*timeout* OR message:*error*


# 正则表达式
host:/web-server-\d+/


# 复杂聚合
status:500 | stats count() by host, path | sort count desc

需要强大的日志分析能力(如用户行为分析、业务分析)

标签检索:基于标签快速筛选日志 

不支持全文索引(只能标签过滤后内容搜索)

# 基本查询:筛选app=nginx且level=error的日志
{app="nginx", level="error"}


# 内容过滤:包含"timeout"
{app="nginx"} |= "timeout"


# 正则过滤:匹配5xx状态码
{app="nginx"} |~ "status: 5\d\d"


# JSON解析
{app="nginx"} | json | status >= 500


# 聚合:统计每分钟错误数
rate({app="nginx", level="error"}[1m])


# 多条件
{app="nginx"} |= "error" != "connection" | json | response_time > 1000

Explore:实时日志查询,类似Kibana Discover

日志主要用于故障排查,不需要复杂分析

ELK/EFK:日志是数据资产,需要分析挖掘(如电商、广告、金融)

app: "user-service" AND level: "error" AND @timestamp >= "now-1h"

{app="user-service", level="error"}

message: *database timeout* OR message: *connection refused*

{app="user-service"} |= "database timeout" or "connection refused"

# 1. 在Discover中筛选: level: "error"
# 2. 在Visualize中创建Line图表
# 3. X轴选择@timestamp,按1分钟聚合
# 4. Y轴选择Count

rate({level="error"}[1m])

{
"aggs":{
"response_time_percentiles":{
"percentiles":{
"field":"response_time",
"percents":[50,95,99]
}
}
}
}

# Loki不支持直接计算百分位,需要先导出到Prometheus
# 或使用Grafana的Transform功能

Kibana:1-2周掌握基础,1-2个月熟练
Grafana+Loki:1-2天掌握基础,1周熟练

Kibana:功能丰富,但界面复杂,新人容易迷失

Kibana:可以保存和分享Dashboard,权限控制好

最小HA配置:3个Master节点 + 2个Data节点
生产推荐:3个Master-eligible节点 + N个Data节点 + 2个Coordinating节点


节点角色:
- Master:管理集群状态,不存数据(4核8G)
- Data Hot:存储热数据,高性能SSD(8核16G+)
- Data Warm:存储温数据,HDD或慢SSD(8核16G+)
- Data Cold:存储冷数据,对象存储(4核8G)
- Coordinating:接收查询,分发到Data节点(4核8G)

# 使用负载均衡器
Filebeat → LB → Logstash1/Logstash2/Logstash3 → ES


# 或使用消息队列
Filebeat → Kafka → Logstash → ES
(Kafka提供缓冲和解耦)

理论上无限扩展(添加Data节点)

单个Loki进程包含所有组件
适合日志量<100GB/天

组件分离:
- Distributor:接收日志,负载均衡到Ingester(无状态,可水平扩展)
- Ingester:写入chunks,批量上传到对象存储(有状态,多副本)
- Querier:查询日志(无状态,可水平扩展)
- Query Frontend:查询缓存和拆分(可选)
- Compactor:压缩chunks(单实例)


典型配置:
3个Distributor + 3个Ingester + 3个Querier

# Distributor
target:distributor
ingester:
lifecycler:
ring:
kvstore:
store:consul
consul:
host:consul:8500


# Ingester
target:ingester
ingester:
lifecycler:
ring:
kvstore:
store:consul
consul:
host:consul:8500
num_tokens:512
heartbeat_period:5s
join_after:30s
min_ready_duration:1m
chunk_idle_period:5m
chunk_block_size:262144
chunk_retain_period:30s
max_transfer_retries:0


# Querier
target:querier
querier:
query_ingesters_within:2h

Distributor和Querier无状态,可随意扩展

Filebeat:如果用ELK且不需要复杂的日志预处理

规模:35人(20个研发)

团队已经在用Grafana看监控,学习成本低

# 1. 部署Loki(已有K8s集群)
helminstalllokigrafana/loki-stack\
--setgrafana.enabled=false\
--setpromtail.enabled=true\
--setloki.persistence.enabled=true\
--setloki.persistence.size=200Gi


# 2. 配置应用日志输出JSON格式
# 以Node.js为例(其他语言类似)
constwinston=require('winston');
constlogger=winston.createLogger({
level:'info',
format:winston.format.json(),
defaultMeta: { service:'user-service' },
transports: [
newwinston.transports.Console()
  ]
});


# 3. Promtail自动采集容器日志(已配置好)
# 4. Grafana添加Loki数据源(2分钟搞定)
# 5. 导入社区Dashboard模板

规模:120人(70个研发)

云服务器:5台8核16G = 年15万

成本高:占基础设施预算的25%

为什么不优化ELK:已经尽量优化了(冷热分离、ILM),但成本仍然高

# 使用微服务模式,3个Ingester保证HA
kubectl apply -f loki-distributed.yaml


# 配置对象存储(阿里云OSS)
loki:
  storage_config:
    aws:
      s3: oss://cn-hangzhou/loki-logs
      region: cn-hangzhou
      access_key_id: ${ACCESS_KEY}
      secret_access_key: ${SECRET_KEY}

# 双写:日志同时发到ELK和Loki
# Promtail配置多个outputs
clients:
-url:http://loki-distributor:3100/loki/api/v1/push
-url:http://logstash:5044# 保留ELK

团队适应Grafana查日志界面(比Kibana简洁)

规模:800人(400个研发)

用户行为分析:通过日志分析用户使用路径,优化产品

// 实际业务需求:统计每小时各业务线的交易金额P95
{
"aggs":{
"by_hour":{
"date_histogram":{
"field":"@timestamp",
"interval":"1h"
},
"aggs":{
"by_business":{
"terms":{
"field":"business_line"
},
"aggs":{
"amount_percentiles":{
"percentiles":{
"field":"transaction_amount",
"percents":[50,95,99]
}
}
}
}
}
}
}
}

使用Elasticsearch Machine Learning检测异常登录

金融行业监管要求完整的审计日志

5TB/天,保留90天热数据,1年温数据,3年冷数据

5年投入200+人天开发和优化

# 1. 极致的冷热分离
hot(7天):10个32核64GData-hot节点,NVMeSSD
warm(30天):20个16核32GData-warm节点,SATASSD
cold(1年):使用SearchableSnapshot,数据在S3,只缓存索引
frozen(3年):完全在S3,查询时临时挂载


# 2. 智能采样
非核心服务:采样50%(随机采样)
核心服务:全量采集
错误日志:100%保留
普通日志:按规则压缩


# 3. 自动化运维
自研ELK管理平台,一键扩容/缩容/升级
监控告警完善,99.9%的问题自动发现

云服务器:50台 = 年150万

年营收:50亿

故障排查:查找错误日志、追踪请求链路 → Loki优先

<100GB/天:Loki单体模式完全够用

年预算<5万:Loki(成本最低)

Prometheus + Grafana:Loki(无缝集成)

<20人,无专职运维:Loki(维护简单)

成本最低,年<3万

# Kubernetes环境
helminstalllokigrafana/loki-stack


# 非K8s环境
docker-composeup-d# 使用官方docker-compose


# 保留策略:30天(够用)
# 存储:本地存储或OSS(更便宜)

用途:如果主要用于排查问题 → Loki

# 使用微服务模式,保证HA
# 配置对象存储(S3/OSS),降低成本
# 保留策略:热数据30天,冷数据90天
# 监控:配置Loki metrics导出到Prometheus

# ES集群:3个Master-eligible + 3个Data节点
# Fluentd:2个节点HA,使用Fluent Bit采集(更轻量)
# 存储策略:ILM冷热分离
# 优化:关闭不必要的字段索引,降低存储

日志是数据资产,需要分析挖掘

主要用于故障排查

核心业务日志 → ELK(需要分析)

审计合规要求:必须使用成熟的企业级方案

使用Elasticsearch企业版(X-Pack)

# 务必配置retention
limits_config:
retention_period:720h# 30天


# 定期清理
table_manager:
retention_deletes_enabled:true
retention_period:720h

Fluentd确实更轻量(内存占用低)

成本压力大,日志主要用于故障排查

评估风险(1周):确认Loki能满足需求,关键是查询功能

业务发展,需要复杂的日志分析

# ILM策略
PUT_ilm/policy/logs_policy
{
"policy": {
"phases": {
"hot": { "min_age":"0ms", "actions": { "rollover": { "max_age":"7d" }}},
"warm": { "min_age":"7d", "actions": { "allocate": { "require": { "data":"warm" }}}},
"cold": { "min_age":"30d", "actions": { "searchable_snapshot": { "snapshot_repository":"s3_repo" }}},
"delete": { "min_age":"90d", "actions": { "delete": {}}}
    }
  }
}

{
"mappings":{
"properties":{
"message":{"type":"text","index":false},// 不索引,只存储
"user_agent":{"type":"keyword","index":false}
}
}
}

# Logstash采样配置
filter {
if [level] != "error" {
if [random_number] > 0.5 {  # 50%采样
      drop { }
    }
  }
}

storage_config:
aws:
s3:s3://region/bucket# 或阿里云OSS、MinIO

limits_config:
retention_period:720h# 30天,根据实际需求

# 不要过多标签(每个标签组合都会创建一个stream)
# 错误示例:
{app="nginx", host="server1", pod="nginx-abc", namespace="prod", region="us-east", ...}  # 太多了


# 正确示例:
{app="nginx", env="prod", level="error"}  # 3-5个核心标签即可

评估真实需求,不要为"将来可能"过度投资

服务器 + 存储 + 带宽 + 人力维护

从Loki开始,不够用再升级到ELK

如果日志能创造价值(数据分析、用户洞察),投资ELK值得

ELK要冷热分离、关闭不必要索引、配置retention

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。

FishAI

鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑

联系邮箱 441953276@qq.com