首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Kubernetes 运维遇到的问题记录(1)

问题:老应用不能通过kubectl exec进入,新应用不能创建 ssh进入集群节点,telnet 本机的 kubelete 的 服务端口 10250,可以。...删除旧的IP pool calicoctl delete pool default-ipv4-ippool 问题:Failed to mount API filesystems, freezing....使用的80端口,与haproxy冲突 问题:不同节点的pod间无法通讯 /proc/sys/net/ipv4/ip_forward为0,ip转发功能关闭导致无法访问pod,改成1解决。...ok,有的环境有问题(从客户端curl服务端) 通过抓取sidecar的15001端口,有问题的环境15001端口tcp握手会失败,不会有ack响应,但ok的环境tcp握手成功,请求正常处理。...有问题的环境内核版本不支持ipv6的iptables转发。ok的环境内核支持。所以可以通过升级内核版本解决。

1.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Kubernetes 运维遇到的问题记录(4)

    本篇的内容都基于 https://github.com/imroc/kubernetes-guide 整理 偶现 DNS 解析失败 Kubernetes 集群网络有很多种实现,有很大一部分都用到了 Linux...但是 Linux 网桥是一个虚拟的二层转发设备,而 iptables conntrack 是在三层上,所以如果直接访问同一网桥内的地址,就会直接走二层转发,不经过 conntrack: Pod 访问 Service...常见的问题现象就是偶现 DNS 解析失败,当 coredns 所在节点上的 pod 解析 dns 时,dns 请求落到当前节点的 coredns pod 上时,就可能发生这个问题。...Service 同节点通信问题,这也是为什么在 Kubernetes 环境中,大多都要求开启 bridge-nf-call-iptables 的原因。...,从而也能完美解决 SHELL 无法传递信号问题,并且还有回收僵尸进程的能力。

    96720

    linux运维

    Linux下php-fpm进程过多导致内存耗尽问题解决 当个人博客数据库服务经常突然挂断,造成无法访问时我们能做什么?...本篇主题就是记录博主针对这一现象时发现问题,分析问题,最后解决问题的过程。...,但是随着团队经验的丰富和人员的扩张,我会适时地更新本文,分享我们在使用 GIT 开发流程中遇到的问题和解决方案。...Linux服务器被黑遭敲诈,如何在3小时内紧急逆袭 作者介绍:陈浩,北信源研发工程师,五年Linux运维工作经验,热衷运维技术研究、实践和团队分享。...看完就会用的 GIT 操作图解分析 无论你是前端还是后台,无论是运维还是移动端研发,GIT 是逃避不了的东西,当然你说你要用 SVN,那不在这次的讨论范围之内。

    14.1K30

    谈谈最近ES运维中遇到的几个有意思的问题

    一、Kibana 上无法正常Discovery 日志的问题 问题描述: 客户同一个集群,同一个索引里的某些文档,用API能直接搜出来,但是在discovery上不能正常搜索,换另外一个id又能正常展示....image.png image.png 问题产生背景: 客户该索引的数据来自2部分,1个是filebeat产生的带时间戳的,一个是客户自己用代码自己手动写入的忘记带时间戳字段。...二、Reindex 复制索引数据报错导致复制失败 问题描述: 客户将存量索引通过reindex的方式拷贝到新生产的索引上,ES 集群版本为:6.4.3 POST _reindex { "source":...当然,上面的问题,我们可以指定源索引的特定type进行复制迁移,这样就不必要求2个索引type一致了。参数如下: POST _reindex?...db_contentgram_test1", "type":"t_article_om_server" //新索引type } 以上,也能解决reindex报错的问题

    1.3K41

    谈谈最近ES运维中遇到的几个有意思的问题

    二、冷热集群索引生命周期策略不生效问题 客户问题: 申请了一个冷热集群,原意是热数据上的存储空间只能存1天,然后根据ILM自动挪动到warm节点上。...客户问题 客户在同一个节点上,运行了多个Logstash事件,一个接收filebeat发送过来的日志,然后过滤输出到ES,这个是正常的。...四、客户将mysql中的数据经JAVA转换后导入ES中数据解析失败问题 问题描述: 客户将mysql中的数据经JAVA转换后导入ES中存储,结果为0或者1的bool值结果,但是ES日志出现如下错误解析...ES侧重新修改索引字段类型为byte,reindex数据后,问题解决。 五、总结 以上4个是最近遇到的比较奇葩的ES问题,跟进耗时比较长,这里一并记录共享。...后续将持续更新有意思的运维问题。

    2.2K80

    77%的Linux运维都不懂的内核问题

    来源:高效运维 ID:greatops 前言 之前在实习时,听了 OOM 的分享之后,就对 Linux 内核内存管理充满兴趣,但是这块知识非常庞大,没有一定积累,不敢写下,担心误人子弟,所以经过一个一段时间的积累...这篇文章主要是分析了单个进程空间的内存布局与分配,是从全局的视角分析下内核对内存的管理; 下面主要从以下方面介绍 Linux 内存管理: 进程的内存申请与分配; 内存耗尽之后 OOM; 申请的内存都在哪...因此 drop_caches 能释放的就是当从磁盘读取文件时的缓存页以及某个进程将某个文件映射到内存之后,进程退出,这时映射文件的的缓存页如果没有被引用,也是可以被释放的。...简单说下 linux 内核自动回收内存原理,内核有一个 kswapd 会周期性的检查内存使用情况,如果发现空闲内存定于 pages_low,则 kswapd 会对 lru_list 前四个 lru 队列进行扫描...5、总结 这篇文章主要是写了 linux 内存管理相关的东西: 首先是回顾了进程地址空间; 其次当进程消耗大量内存而导致内存不足时,我们可以有两种方式:第一是手动回收 cache;另一种是系统后台线程

    2K80

    Linux系统运维问题解决(一)

    [TOC] 主要记录工作和学习中遇到的一些问题; Q:挂载的目录进行卸载挂载繁忙,如:umount: /var: device is busy A:解决方法 fuser -m -v /dev/mapper..., (2) 当安装依赖包错误的时候进行一起安装即可(不知道谁与谁有依赖关系,就都一起安装就好了,亲测有效)) Q:Centos6.x安装/升级到python2.7 A:因为在linux机器上用yum安装的默认是...local/lib/python2.7/site-packages (python 2.7) CentOS7 Failed to start LSB: Bring up/down networking 问题...原因是mac地址的问题 systemctl status network。 #解决方案如下: 1....答:有先决条件,就是在进程中被打开,在内存中被分配资源; 恢复原理: 在Linux系统中,每个运行中的程序都有一个宿主进程彼此隔离,以/proc/进程号来体现(Linux本质上就是一个文件系统) 比如:

    3K10

    学linux运维的前景

    薪水前景: 总的来说,运维的薪水普遍比开发人员略低一点。这是因为上手运维工作比开发门槛略低,市场上有很多运维人员处于“会搭建服务”的状态。...但是随着你个人能力的提升,金字塔效应一样会很明显。各大公司都需要技艺高超的运维人员,开出的价格并不会比你同龄的开发人员明显低。...目前我所遇到过的薪水最高的运维人员,薪资在40W左右,据说也有人在50W左右年薪,我目前没有见过50W的运维,不敢妄下结论....如果有兴趣,建议大家读一下的思维修炼>>这本书,对你做好自己的职业规划有很大的帮助. 学习路上,有童鞋所关注的问题? 1. 运维行业加班多吗?...另外如果你要学Linux运维,最重要的不是考虑你多大合不合适,好不好学的问题,而是应该考虑自己要在哪个城市定居,如果在北上广深,立刻动身去学.如果是打算定居在三线四线城市,一定要先看看有没有合适你的企业和工作再去学

    6.8K30

    用好Linux的history命令的运维都是牛逼运维!

    history命令是Linux系统中的一个内置命令,用于显示并管理用户在当前会话中执行过的命令历史记录。当你在终端中输入命令并执行时,这些命令会被记录下来,并保存在历史记录中,以便后续查看或重复执行。...history命令的主要作用是提供一个便捷的方式来查看和管理之前执行过的命令。它可以帮助用户:查找之前执行过的命令,以便于重新执行或修改。回顾自己的操作历史,快速定位到特定的命令或操作步骤。...history 命令的基本功能要在命令行中调用history命令,只需在终端输入history并按下回车键即可。这将显示当前会话中执行过的所有命令的列表,每个命令都有一个对应的序号。...100清除历史记录使用 -c 选项可以清除当前会话的历史记录:history -c历史记录的存储方式Linux系统中的历史记录文件通常存储在用户的主目录下的隐藏文件中。...以下是一个示例:1 ls2 cd Documents3 vim example.txt4 sudo apt-get update在Linux系统中,有一些环境变量可以用来控制历史记录的行为。

    13610

    【运维工具】因为K8s,运维人员遇到职业危机....

    点击立即体验WeOps众所周知容器(docker)是一艘航行在IT大海里的“轮船”为了驶向彼岸,需要一个“船舵”(K8S)那如何更好更快地前行呢?...你需要“We Operations”统一管理,让船上的“货物”井井有条统一监控,“货物”故障提前感知,更快解决问题下面正式介绍多才多艺的:嘉为蓝鲸一体化运维平台WeOps!...全栈适配国产化+容器+传统架构的软硬件全栈适配,统一管理。成熟稳定腾讯每年3亿重金打造+超10年持续迭代+支撑30w节点运维实践,构建成熟稳定的运维平台。...轻量部署轻量化,支持单机部署,20+年专家经验沉淀+10万用户的市场验证,内置场景,一键启用。持续研发300+高阶研发团队+公司营收20%作为研发费用,与时俱进,保持领先。...----若您对WeOps平台感兴趣,希望了解更多产品内容,欢迎去官网联系嘉为蓝鲸,我们将为您提供最新的产品材料与产品试用。

    69510

    Zookeeper运维问题集锦

    实际工作中用到Zookeeper集群的地方很多, 也碰到过各种各样的问题, 在这里作个收集整理, 后续会一直补充; 其中很多问题的原因, 解决方案都是google而来, 这里只是作次搬运工; 其实很多问题都跟配置有关..., 只怪自己没好好读文档; 问题列表: 1....restart, 但问题依旧, 故查看zk的log, 有大量的如下日志 2017-07-18 17:31:12,015 - INFO [WorkerReceiver Thread:FastLeaderElection...解决方案: 保持这台有问题zk的现状, 按myid从小到大依次重启其他的zk机器; 原因: zk是需要集群中所有机器两两建立连接的, 其中配置中的3555端口是用来进行选举时机器直接建立通讯的端口, 大...zk服务; 深究: 关于tcp连接队列,这篇文章很不错: How TCP backlog works in Linux

    1.9K10

    linux平台下server运维问题分析与定位

    结合我工作中碰到的运维问题,总结一下linux下server常见的运维问题以及定位方式。...逻辑server一般是自主开发的,虽然在上线前大都经过功能和压力测试,但放到现网环境上部署后还是难免会出现一些问题,有些问题是在灰度发布时就可以发现,而有些问题则是一个漫长的暴露过程。...编码问题导致系统处理能力较差 其实这个范畴的不能算是运营问题,但是处理能力较差的系统会很容易到达瓶颈。在编码过程中,一定要注意避免无谓的开销,特别是系统调用等。...以上总结了常见的运维问题和定位方法,相信大家大致有一套自已定位问题的方法,这里我谈下我定位问题的基本流程,供大家参考:     1....运维无小事,在系统运维过程中,出现的问题可能五花八门,但系统的接入和处理能力相关的关键指标其实并不多,只要把握的关键点,就不难定位出问题所在。更多的方法、心得与体会,欢迎大家一起探讨。

    1.2K10

    Linux日常运维-history

    作者介绍:简历上没有一个精通的运维工程师。请点击上方的蓝色《运维小路》关注我,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。...本小章内容就是Linux进阶部分的日常运维部分,掌握这些日常运维技巧或者方法在我们的日常运维过程中会带来很多方便。...主要从以下几个部分来讲解: Linux日常运维-主机名&hosts Linux日常运维-history(本章节) Linux日常运维-SSHD(一) Linux日常运维-SSHD(二) Linux日常运维...-ENV(一) Linux日常运维-ENV(二) Linux日常运维-任务计划 history 命令用于显示当前 Bash shell 会话的命令历史记录。...2.非正常退出是不会保存到历史记录的,必须是正常退出才会自动保存当前shell执行的命令。 3.不同的用户的histroy是独立的 ,因为这个文件是被记录在家目录.bash_history 文件。

    4900
    领券