遇到报错

在es端查看不到日志,查看filebeat日志发现报错
filebeat failed to publish events 413 request entity too large
遇到此种报错将会导致 es 中没有数据

产生原因

filebeat所收集的日志太大,超过了es能接受的大小

解决方案

1、修改filebeat配置参数,默认filebeat会攒够50条日志统一发送到es,可以调整该参数为20或者10,这样每次发送到es的日志实体会减小

# 修改filebeat的filebeat.yml配置文件,在 output 中加入 bulk_max_size: 20,这个值默认是 50,我们要改小一点,改成 10 或者 20 都行
filebeat:
  prospectors:
      max_bytes: 900000
...
output:
  elasticsearch:
    bulk_max_size: 20
    bulk_max_bytes: 10485760

2、找开发协助,将日志输出方式优化,减少不必要的日志输出,如生产环境关闭debug日志等

作者:于浩  创建时间:2023-03-21 20:41
最后编辑:于浩  更新时间:2024-04-17 08:28