BCC(可观测性) 目录 BCC(可观测性) 简介 动机 安装 安装依赖 安装和编译LLVM 安装和编译BCC windows源码查看 BCC的基本使用 工具讲解 execsnoop opensnoop btrfs, xfs, zfs*) biolatency biosnoop cachestat tcpconnect+tcpaccept+tcpretrans runqlat profile BCC的开发 可观测性 动机 BPF保证加载到内核中的程序不会导致内核崩溃，且不会永远运行，但BPF本身的通用性又可以支持执行很多类型的计算。 p 185 # trace PID 185 only profile 推荐使用strace和perf trace命令 BCC的开发 本节介绍使用Python接口进行BCC的开发，包括两部分：可观测性和网络 可观测性 Lesson 1. Hello World 执行examples/hello_world.py，并在另一个会话中执行一些命令(如ls)，此时会打印"Hello,World!". # .
Istio可观测性 Istio的可观测性包括metrics，日志，分布式链路跟踪以及可视化展示。 目录 Istio可观测性 Prometheus 配置说明 Option 1:合并metrics Option 2:自定义抓取metrics配置 TLS设置 总结 Jaeger 概述 跟踪上下文的传递 使用 根据配置错误的严重性，可以将Istio资源配置中检测到的任何问题标记为错误或警告。 下面将尝试对服务端口名称进行无效性修改来查看Kiali如何报告错误： 将details服务的端口名称从http修改为foo # kubectl patch service details -n default 点击YAML查看Istio的destination rule规则，Kiali用颜色高亮除了未通过有效性校验的行 ?
热卖云产品年终特惠，2核2G轻量应用服务器7.33元/月起，更多上云必备产品助力您轻松上云
可观察性之所以昂贵，有两个原因： 可观测性需要比被观测的系统至少可靠一个数量级。否则，你将继续调试你的可观察性堆栈，而不是使用它来保持你的应用程序运行。 可观测性是什么？ 可观测性有许多名称，如监测、审计、遥测、测仪。忽略这些细微差别，所有这些词本质上的意思都是一样的：度量你的基础设施、平台和应用程序，以了解它是如何运行的。 如果你熟悉精益思维——即构建-度量-学习——那么可观察性是十分自然。可观测性通过“测量”阶段闭合反馈回路。它允许你的团队对应用程序进行快速更改，快速适应其用户基础和环境，而不会产生不必要的意外。 良好的可观察性可以将“凌晨2点被唤醒”转换为日常检查。 但是可观测性究竟是什么呢？ 当谈到可观察性时，我们通常尝试回答三个问题： 我的用户满意吗？ 我的应用令人满意？ 我的服务器良好吗？ Kibana的截图，它和Elasticsearch一起，是领先的日志解决方案。 在编写应用程序时，你的团队通常会添加“日志”代码。
自打去年以来，可观测性Observability这个概念又非常的火，按照我的感受，在运维领域，这个概念是近两年即AIOps之后，热度最高的一个了。 无论是国内还是海外的运维相关的公司，都给了自己一个新的定位，就是可观测性平台，或者叫做可观测云，相对应的产品也是层出不穷。 通常我们在IT领域看到的关于可观测性概念的介绍，都会提到它是Metrics, Traces以及Logs的结合，通常会以下图来呈现。 这里我找了一个Splunk的Demo，我们可以直观的感受一下，可观测性的实际效果是怎样的。 大家看完这个示意，对可观测性就有更直观的理解了，不做赘述。 可观测性之业务架构的理解 如果SRE方法论和AIOps是落地Observability的两个核心，那对业务架构的理解，我对它的定位就是核心中的核心。
Kubernetes环境下的可观测性 OpenTelemetry 能够很好的解决云计算虚拟化时代的可观测性问题，但是Kubernetes环境下的可观测性不同于虚拟机环境。 传统基础架构并不会这么“动态”，虚拟机不会频繁的重启，各种可观测性数据都能够长期在一个稳定的节点上采集。这也使得Kubernetes环境下可观测性更加困难。 Serverless环境下可观测性的价值 面对这些困惑，各大厂商Serverless产品依然提供了可观测性的支持，这里的原因与可观测性的目的相关，正如前文介绍，可观测性更像是一种白盒方式观察系统的手段， 除开技术层面的收益，可观测性还有一些“软性”价值。 Metrics：TEM结合云监控以及APM，基于实时的多语言应用探针全量采集技术，提供丰富的指标数据，包括基础监控、应用监控、接口监控以及JVM监控。帮助用户监控系统健康度，或者对接运维告警。
链路追踪系统不仅仅可以帮助排查问题还可以用于分析系统请求链路中的性能问题，这里就不详细拆解枯燥的论文了，为了简单起见通过Micrometer提供的Tracing门面来引入全链路追踪系统的一些概念和说明。 关于为什么需要链路追踪系统和对于可观测性的一些知识也可以参考前面的文章： 《可观测性神器之Micrometer》 那下面就进入正文看一看Micrometer提供的Tracing门面是如何定义链路追踪系统的 低开销： 收集数据增加很少甚至没有开销，同时最大限度地提高跟踪工作的可移植性。 这样的老牌链路追踪门面，Micrometer Tracing并不是最成熟的，不过OpenTracing已经归档不再维护，OpenTracing和OpenCensus合并为OpenTelemetry之后统一了可观测性门面 可以看到在未来Micrometer必定会在Java的可观测性领域越来越火，从成熟的Meter埋点到 Tracing 链路追踪。感兴趣的话可以试一试。
可观测性 在了解Micrometer之前可以先来简单了解下云原生微服务时代下人人追捧的可观测性概念，这会更有利于我们理解Micrometer的作用，在传统单体应用时代对于服务的检查和诊断可以借助于简单的报表 这时候就有人提出了可观测性的概念，可观测性是个比较大的概念就像是我们开发人员有了透视能力一样一眼可以看穿系统的内部运行状况，当然这是不现实的。 所以就有人进行了对它进行了具体的定义，广为流传又易于理解的说法是可观测性的三大支柱说:Metrics、Tracing、Logging 。 可观测性三大支柱说 可以看到中医有“望闻问切”的方式来诊断病人的病症，我们有了可观测性三大支柱Metrics、Tracing、Logging来帮助我们了解和排查系统运行健康状况。 可以看到可观测性的三大支柱在不同的维度提供支持使系统更易于观察，理论性的概念可能不太明显，这里可以给举一个借助客观性理论排查请求超时的场景（当然实际情况可能比这个复杂的多），如果系统在预先对某个服务消费者和生产者请求进行了日志打印
eBPF 是对 Linux 观测系统 BPF 的扩展和加强版本。可以把它看作是 BPF 的同类。 实际上，eBPF 也是加强了在和用户空间交互的安全性。在内核中的检测器会拒绝加载引用了无效指针的字节码或者是以达到最大栈大小限制。 在这样的场景中，如果我们可以将生成的ELF对象放入二进制文件的数据段中，并最大限度地提高跨机器的可移植性，那将是比较理想。
云函数 + APM，进一步提升 Serverless 可观测性 Serverless 产品免运维、弹性扩缩容的产品特性，意味着由平台来进行请求的调度、资源的分发，也意味着用户在进行问题定位、异常排查时需要依赖平台提供的可观测性功能 腾讯云 Serverless 云函数 SCF 在可观测性上，已经与日志服务合作提供了专业可靠的日志功能，与云监控团队合作提供了指标丰富的监控功能。 对于具有更细粒度、更定制化的可观测性诉求的场景，近日 云函数 SCF 与腾讯云应用性能观测 APM 团队合作，推出了云函数应用性能观测功能，现已正式发布，访问 SCF 控制台启用 APM 配置即可体验。 腾讯云应用性能观测（Application Performance Management，APM）是一款应用性能管理平台，基于实时的多语言应用探针全量采集技术，为您提供分布式应用性能分析和故障自检能力， 丰富的指标监控，打造多个函数应用级全局观测 SCF 与 APM 集成，将可观测性的重点从单个系统转为整体系统。
网络中间件 Ingress 的日志可以观测到接入层的流量 应用的日志 日志的采集 宿主机文件，通过 volume，把日志文件写到了宿主机之上。 的一个采集方案，Fluentd 是在每一个节点上面都会起相应的 agent，然后这个 agent 会把数据汇集到一个 Fluentd 的一个 server，这个 server 里面可以将数据离线到相应的类似像 elasticsearch
但三大支柱只是讲到了如何实现可观测性，而非为何要采用可观测性。Ben Sigelman （Google Dapper作者）对此即有争论，说这样的定义毫无意义，因为这只是三种数据类型。 既然标题是为什么需要可观测性，那么实在无需讨论三大支柱相关内容。就新技术采用的决策者来说，为什么需要可观测性比如何实现可观测性更为重要。 因此，下文将从可观测性的实际案例分析其价值，尝试说明为什么需要引入可观测技术。 价值 从实用主义出发，理解可观测性解决什么问题，比理解可观测性如何实现更有价值。 通过引入可观测性，首先精确监测到特定虚拟机每5分钟出现100ms的时延波峰，其次根据特定虚拟机的全栈链路（即虚拟机-云主机-路由器等）实时监测，快速定位出故障在特定云主机到某路由器之间，进而发现路由器配置疏漏导致换路产生 结语 控制领域中，研究可观测性的目的是提供基于系统内部状态（白盒），而非系统外部输出（黑盒）进行控制的理论依据。在IT领域中，简单而言，可观测性就是为复杂IT系统寻求白盒监控能力。
CI/CD 可观测性架构 使用 APM 服务器，将所有 OpenTelemetry 原生 CI/CD 观测工具直接连接到 Elastic Observability。 [CI/CD可观测性架构] 使用 Elastic 构建 CI/CD 可观测性的架构 更高级的 CI/CD 可观测性架构包括部署在边缘（靠近 CI/CD 工具）的 OpenTelemetry 收集器。 除了 Elastic Observability 之外，还能够将可观测性信号路由到多个后端。 [在这里插入图片描述] 使用 Elastic 实现 CI/CD 可观测性的高级架构 CI/CD 管理员的可观测性 Elastic Observability 允许 CI/CD 管理员监控 CI/CD 平台并对其进行故障排除并检测异常情况 将日志存储在可观测性后端有几个好处，包括： 将所有的可观测性数据进行统一的存储，更利于我们实现Jenkins实例的全观测性、监控、警报和故障排除。
但三大支柱只是讲到了如何实现可观测性，而非为何要采用可观测性。Ben Sigelman （Google Dapper作者）对此即有争论，说这样的定义毫无意义，因为这只是三种数据类型。 既然标题是为什么需要可观测性，那么实在无需讨论三大支柱相关内容。就新技术采用的决策者来说，为什么需要可观测性比如何实现可观测性更为重要。 因此，下文将从可观测性的实际案例分析其价值，尝试说明为什么需要引入可观测技术。 价值 从实用主义出发，理解可观测性解决什么问题，比理解可观测性如何实现更有价值。 通过引入可观测性，首先精确监测到特定虚拟机每5分钟出现100ms的时延波峰，其次根据特定虚拟机的全栈链路（即虚拟机-云主机-路由器等）实时监测，快速定位出故障在特定云主机到某路由器之间，进而发现路由器配置疏漏导致换路产生 可观测性如何实现更多不同业务场景下的快速排障？每一个云原生应用如何具备可观测性能力？如何搭建一套适合自身的可观测性设施？
前面我们了解了 Dapr 可观测性中的分布式追踪部分的支持，本文我们将来介绍下指标和日志这方面的支持。 运行状况 服务的运行状态提供对其可用性的见解，每个 Dapr sidecar 都会暴露一个运行状况的 API，宿主环境可以使用该 API 来确定 sidecar 的运行状况。 Kubernetes 使用存活性探针来确定容器是否已启动并正在运行，如果存活性探针返回失败代码，Kubernetes 将假定容器状态为“死亡”并自动重启该容器，此功能可提高应用程序的整体可用性。 超时将被解释为失败 failureThreshold 指定在考虑容器处于不活动状态或未就绪之前，Kubernetes 将接受的失败状态代码的数量 对于在生产环境中运行分布式系统，详细的可观测性至关重要。
所有的语句默认都是没有用户名和密码，如果你的 es 集群做了安全认证的话，请在每一个 crul 后面加上 -u username:password
插件推荐 接下来推荐一些增强可观测性的 kubectl plugin。
可观测性提供对分布式应用程序的深入可见性，以便更快、自动化地识别和解决问题。 什么是可观测性？ 一般来说，可观测性是基于对其外部输出的了解即可评估复杂系统的内部运行状态的程度。 可观测性不会取代监控——它可以实现更好的监控。 可观测性核心要点 可观测性平台通过与内置于应用程序和基础架构组件中的现有工具集成。可观测性的四个核心点： Logs。 可观测性的好处 可观测性的最大好处是，更可观测的系统更容易理解，更容易监控，更容易和更安全地部署新代码，并且更容易修复bug。 2.监控为你提供有关系统中的问题或故障的信息，而可观测性让你了解导致故障的原因、发生地点以及发生原因。 3.不受监控的系统是不可观测的。 4.可观测性 发现&解决未知的未知问题。 推荐几个国外可观测性平台 国内的讲解可观测性平台的文章较少，这里就推荐几个国外的平台帮助大家更深入了解下。
基于云原生体系构建的可观测系统：Observability-stack Observability Stack 是基于云原生组件构建的OpsCenter系统。
开源工具和技术 云原生计算基金会 (CNCF) 已经孵化和毕业了许多用于监控和可观察性的惊人技术和工具。其中四种工具和技术特别有用，可以被各种规模的组织利用。让我们跳进去。 OpenTelemetry 是开源的、供应商中立的，并且在可观察性方面受到许多大公司以及云提供商本身的支持。 OpenTelemetry 通过标准化将数据发送到可观察性后端的格式来解决这个问题，无论它是开源工具还是付费解决方案。它消除了供应商锁定的风险，因为团队现在能够使用标准格式轻松地在后端之间切换。
链路追踪系统不仅仅可以帮助排查问题还可以用于分析系统请求链路中的性能问题，这里就不详细拆解枯燥的论文了，为了简单起见通过Micrometer提供的Tracing门面来引入全链路追踪系统的一些概念和说明。 关于为什么需要链路追踪系统和对于可观测性的一些知识也可以参考前面的文章： 《可观测性神器之Micrometer》 那下面就进入正文看一看Micrometer提供的Tracing门面是如何定义链路追踪系统的 低开销：收集数据增加很少甚至没有开销，同时最大限度地提高跟踪工作的可移植性。 这样的老牌链路追踪门面，Micrometer Tracing并不是最成熟的，不过OpenTracing已经归档不再维护，OpenTracing和OpenCensus合并为OpenTelemetry之后统一了可观测性门面 可以看到在未来Micrometer必定会在Java的可观测性领域越来越火，从成熟的Meter埋点到 Tracing 链路追踪。感兴趣的话可以试一试。
腾讯云 Elasticsearch Service（ES）是云端全托管的ELK服务，包含 Kibana ，集成X-Pack。帮助您快速部署、轻松管理、按需扩展集群，简化复杂运维操作，快速构建日志分析、全文搜索、BI 分析等业务。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
云数据库 SQL Server
网站备案
文件存储
SSL 证书
