Loki

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

越来越多的系统利用 CPU 和硬件加速器的组合来支持要求低延迟的任务和高吞吐量的并行计算。这类负载包括电信、科学计算、机器学习、金融服务和数据分析等。此类混合系统需要有高性能环境支持。

K8S中的NUMA管理策略

本文主要演示在AIGems中使用交互式建模服务来在平台中对Cidar项目进行演示开发流程和开发验证一个简单推理服务

在 AIGems 中使用交互式建模

最近无意间看到一篇两年前的文章《Scaling Kubernetes to 7,500 nodes》原文如下：https://openai.com/research/scaling-kubernetes-to-7500-nodes#unsolvedproblems。虽然多少有点倔坟，但好在里面的东西并不算太落后，至少从OpenAI团队之前的文章来看，也确实记录了整个团队在Kubernetes集群规模的技术成长与经验分享，非常的值得学习。正好最近我们 KubeGems PAI（机器学习平台）也遇到一些调度方面的问题，便再三阅读并简单做个笔记与大家分享读后感。

OpenAI 是怎么使用 Kubernetes 的？

开始正文之前先给大家分享一个好消息，经过一段时间的沟通我们产品（KubeGems）的日志解决方案终于得到 Logging Operator 社区的认可，并在首页得到展示支持。再次感谢大家对KubeGems项目的关注与支持！

Logging Operator项目的一些新变化

最近通过Nginx来反向代理一批大模型服务，遇到一个典型问题。默认的轮训负载均衡场景下，如果用户的每次请求到达算法服务时，由于不同的问题导致算法返回的Token长度不一致。就会出现某些算法Pod在上轮问答还没结束时收到了下次的请求。由于Nginx或负载均衡器上无法预测上游算法的Token长度，只能暴力的讲请求轮训分发到后端，长此以往，就导致后端算法服务随机出现阻塞的问题。

语言类算法服务负载均衡初探

最近有业务的容器需要在Kubernetes上运行ROS2，由于ROS2的DDS（Data Distribution Service，数据分发服务）的通讯框架采用了组播的方式将消息分发给订阅者节点以提高效率。所以如果在一个 kubernetes 集群中部署多套ROS2，就会导致在ROS2之间的数据出现串流的情况。解决这个问题，我们需要将组播数据路由到本地的loop回环网卡上。研究了下在Kubernetes CNI中默认插件中的loopback是没有这个支持的。要解决这个需求，需要简单小改下cni 的 loopback 插件，让其在为pod创建loop网卡时，将组播地址224.0.0.0转到的loop网卡。在开始前，我们还是有必要回顾学习下相关的知识。

在Pod中开启Loopback网卡的组播功能

KubeGems插件本质上是一个 helm chart,我们在其上做了功能的扩展和一些约定。 插件主要功能是对配置的重新规划和统一。

从 0 开发一个 KubeGems 风格的插件

ChatGPT 自上线以来，凭借其优异的自然语言理解和输出能力，仅花 5天就成为了活跃用户过百万的现象级产品。而上一个现象级产品 instagram 花了 2 个半月。到目前为止 ChatGPT 在全球累计用户已经过亿，相信现在也有很多人在跟 ChatGPT 聊过之后相信 AI 发展的奇点已经到来。

你应该知道的ChatGPT提示语

Opentelemetry 是一个CNCF社区下一个开源的可观测性框架，或者也可以说是一组工具、API 和 SDK 的集合，来检测、生成、收集和导出可观测性数据（指标、日志和链路），以帮助我们分析软件的性能和行为。

Opentelemetry 实践分享 - Golang篇

KubeGems 是一款开源的企业级多租户容器云平台。围绕云原生社区，KubeGems 提供了多 Kubernetes 集群接入能力，并具备丰富的组件管理和资源成本分析功能，能够帮助企业快速的构建和打造一个本地化、功能强大且低成本的云管理平台。

5分钟了解 KubeGems 1.23  GA

随着众多model zoo的出现，对于我们这样不懂得高深的数学基础知识的小白来说，能体验众多业界大牛开发的模型也不再是一个遥不可及的事情了。现在唯一的成本可能就是要熟悉各种开发框架，如 Transformers，OpenMMLab 等。KubeGems 在1.23版本中加入了模型商店的功能，其主要目的就是为了让开发者快速部署和体验这些优秀的模型，当前KubeGems主要对接Huggingface 和 OpenMMLab 两个model zoo，后续我们还将不断集成其他优秀的model zoo。本文将以HuggingFace为例，简单介绍如何在KubeGems上快速体验一个视觉问答的模型任务，以及一些实现背后的技术细节。

在 KubeGems 上快速体验 HuggingFace 模型

本文将指导用户使用 Kind 快速部署一个 KubeGems v1.21的版本用于本地。

Kind 快速部署 KubeGems 测试环境

最近小白需要对服务器和线上业务进行一些探针来定时拨测，用于对服务的存活性进行监控与告警。很早以前就知道prometheus社区提供了 blackbox 的探针方案，但一直没有关注，正好趁这次机会了解一下。

Prometheus Operator中探针的使用

ChatGPT是由 OpenAI 开发的一个人工智能聊天机器人程序，于2022年11月一经推出，就凭借优秀的对话体验刷爆了全网，并获得地表最强 AI 聊天机器人的称号。目前ChatGPT有很多应用场景，不限于 搜索引擎辅助、生成代码、语言翻译、文字创作等等，当下甚至已经出现很多个人或公司开始基于 ChatGPT 开发出一些特定÷场景的应用例如 客服、药品分类等等。虽然 ChatGPT 目前存在一些 胡编和 逻辑混乱的问题，但和它的其它同行相比已远远领先。作为一个天然适合聊天的 AI 服务，本篇文章自然也将指导用户在 KubeGems 中部署 ChatGPT API 并将其接入到飞书机器人中为个人和企业快速提供简单的对话服务来体验 ChatGPT。

在 KubeGems 上部署 ChatGPT 飞书机器人

最近需要寻找一种更友好的方式来存储我们的模型。我们曾经在使用 ormb 时遇见了问题，由于我们的模型有的非常大（数十 GB），在使用 ormb 时将会面临：

ModelX一款开源的机器学习模型管理仓库

Model X 是一个简单、高性能、 跨平台和可扩展的用于存储机器学习场景下的模型仓储服务。它参考了 OCI、Git Lfs 和 对象存储的设计思想和在 Kubernetes 中运行算法服务的场景，为用户提供了一个便捷的、可版本化的模型管理解决方案。更多关于 ModelX 设计可参考文章《ModelX一款开源的机器学习模型管理仓库》 https://www.kubegems.io/blog/kubegems-modelx

KubeGems教学系列 - 快速体验 Model X

我有一个托管在 Pipedream 上的 workflow ， 该 workflow 订阅了我博客的 RSS， 当有新文章发布后，会调用 Bitly 生成短网址，然后自动发推。正常情况下，它会保持 RSS 的处理状态，仅处理增量数据。

K8S 生态周报| Prometheus 新版本内存用量大幅度优化！

可观测性 Observability 是近几年来随着应用微服务和容器化推进而引领出来的一个概念。其提出的最核心的三个方向 Monitoring 、Logging 和 Tracing 目前也已广泛的被各从业人员和SaaS 服务商接受，并应用在项目当中。当下具备一个可观测性分析的平台以及作为云原生时代微服务系统基础组件，不管是从 CNCF 社区还是公有云平台开放性与性能是决定平台价值的核心要素。在复杂的微服务场景下和多维度的监控数据，对 KubeGems 的可观测性设计实现带了诸多挑战。本次分享也从一个使用者的角度快速介绍当前 KubeGems 可观测性的功能。

五分钟了解 KubeGems 可观测性

Apache Skywalking 专门为微服务架构和云原生架构系统而设计并且支持分布式链路追踪的APM系统。Apache Skywalking 通过加载探针的方式收集应用调用链路信息，并对采集的调用链路信息进行分析，生成应用间关系和服务间关系以及服务指标。Apache Skywalking 目前支持多种语言，其中包括 Java，.Net Core，Node.js 和 Go 语言。本文将从以 KubeGems 应用商店出发，来快速搭建一套Skywalking，希望能够帮助到大家。

基于KubeGems可视化搭建SkyWalking

最近我司业务扩展在机房新开了一个区域，折腾了一段时间的 Calico BGP，为了能将整个过程梳理得更简单明了，我还是决定将这个过程记录下来。不管是对当下的总结还是未来重新审视方案都是值得的。大家都知道，云原生下的网络架构在 Kubernetes 里可以算是百花齐放，各有所长，这无形中也导致网络始终是横在广大 K8S 爱好者面前迈向高阶管理的几座大山之一。通常大家在公有云上使用厂家提供的 CNI 组件可能还感受不到其复杂，但一旦要在 IDC 自建集群时，就会面临 Kubernetes 网络架构选型的问题。Calico 作为目前 Kubernetes 上用途最广的 Kubernetes CNI 之一，自然也有很多追随者。而本篇便是在自建机房内 BGP 组网下的一次总结。

BGP 模式下 Calico 与 MetalLB 如何结合

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了Loki专栏，为你提供了Loki的相关文章，致力于帮助开发者快速成长与发展。

Loki

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐