首页
学习
活动
专区
工具
TVP
发布

让技术和时代并行

专栏作者
388
文章
434053
阅读量
30
订阅数
Kubernetes集群环境下fluentd日志收集方案介绍
前段时间写了一篇日志收集方案,Kubernetes日志收集解决方案有部分读者反馈说,都是中小企业,哪有那么多资源上ELK或者EFK,大数据这一套平台比我自身服务本身耗费资源还要多,再说了,现阶段我的业务不需要格式转换,不需要数据分析,我的日志顶多就是当线上出现问题时,把我的多个节点日志收集起来排查错误。但是在Kubernetes平台上,pod可能被调度到不可预知的机器上,如果把日志存储在当前计算节点上,难免会出现排查问题效率低下,当然我们也可以选用一些共享文件服务器,比如GFS、NFS直接把日志输出到特定日志服务器,这种情况对于单副本服务没有任何问题,但是对于多副本服务,可能会出现日志数据散乱分布问题(因为多个pod中日志输出路径和名称都是一样的),下面我介绍通过CNCF社区推荐的fluentd进行日志收集。
用户5166556
2020-06-15
1.6K0
愿意自己被监控的同时,我也可以监控别人
过去警察在办案的时候,总是搜集各种证据,进行一系列的逻辑推理,来证明某个人犯案,如果未来通过人工智能,把每个人无论生活中还是工作娱乐中的片段全都一一不拉的记录下来,先不说我们愿不愿意看到这种场景,是不是从警察的角度来说,要变得更加轻松愉悦。 现实生活中,当我们早上起来去工作时,办公室里大多安装有摄像头(当然这个摄像头中的录像并不是用来监视我们的工作,只有调查某件紧急事情时,才会回访,但是从某种意义上来说,我们的确是被监视了),工作过程大都使用电脑,电脑能够记录下我们点击键盘的节凑,打开某个文档操作了多长时间
用户5166556
2019-11-28
6180
用程序对hdfs进行操作。
调试加安装了半天,怎么也没有配置好怎么通过Eclipse直接连接hdfs,最后我还是打成一个jar包放到Linux虚拟机中执行的。
用户5166556
2019-04-16
4350
java线程中Exchanger使用
有时我们需要对元素进行配对和交换线程的同步点,使用exchange方法 返回其伙伴的对象,这时我们就需要使用线程类中的Exchanger类了,
用户5166556
2019-04-16
4240
用java程序把本地的一个文件拷贝到hdfs上并显示进度
把程序打成jar包放到Linux上 转到目录下执行命令 hadoop jar mapreducer.jar /home/clq/export/java/count.jar  hdfs://ubuntu:9000/out06/count/ 上面一个是本地文件,一个是上传hdfs位置
用户5166556
2019-04-16
1.6K0
could only be replicated to 0 nodes, instead of 1
出现 这种异常是因为数据冲突造成的,可以把通过日志查看,解决办法:删掉tmp文件夹下生成的dfs文件,重新format一下,问题解决。
用户5166556
2019-04-16
4620
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档