点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 // 编者按:随着音视频领域业务的蓬勃发展,越来越多的业务场景需要大规模甚至超大规模部署支撑。不同的用户分布在不同的区域,甚至出现跨国或跨省传输,在这种情况下OWT如何高效分发媒体数据,实现集群内以及跨集群的高质量扩散?LiveVideoStackCon2022上海站大会我们邀请到了英特尔 高级工程师 吴秋娇详细介绍了OWT基于TCP的集群内媒体分发,以及基于QUIC的跨集群媒体级联。
前言 根据《 Flexera 2020云状况报告》显示,多云环境正在成为企业的标准,93%的企业正在使用这种方式。 在部署架构方面,Kubernetes (K8s)是一种灵活的编排工具,它可以运行在本地、公共云和多个公共云。在这样的环境下,我们需要一套针对云原生环境、完善并且能实现多云监控的监控平台。自建 Prometheus,繁琐的集群关联步骤,让很多开发运维同学从入门到放弃。于是支持快速接入的托管 Prometheus 成为了大家的首选。 上期我们介绍了自建的 K8s 如何接入 Prometheus 监
由 StreamNative 主办的 Pulsar Meetup Beijing 2023 在2023年10月14日完美落幕,本次活动大咖云集,来自腾讯、滴滴、华为、智联招聘、RisingWave 和 StreamNative 的行业专家们一起,深入探讨 Pulsar 在生产环境中的最佳应用实践,共享 Pulsar 社区的最新发展和动态。
视频资源汇聚是该项目视频共享融合赋能解决方案的基础核心能力,只有通过视频资源汇聚功能汇聚各类视频资源,上层的基础应用、智能分析等视频能力才能构建起来。方案支持普通视频和智能视频的接入,接入方案包括前端设备联网接入和平台间的联网接入,视频资源在接入后都需要挂载到相应目录下。
魏后民,腾讯云后台开发工程师,关注容器、Kubernetes、Cilium等开源社区,负责腾讯云 TKE 混合云容器网络等相关工作。 王昌宇,腾讯云高级工程师,关注OpenStack、Kubernetes,ServiceMesh等社区,负责TCNS高性能网络研发。 徐凌云,腾讯云高级工程师,关注 Linux 内核网络、Cilium等开源社区,负责 TCNS 高性能网络研发。 前言 在 腾讯云TKE - 基于 Cilium 统一混合云容器网络(上) 中,我们介绍 TKE 混合云的跨平面网络互通方案和 TK
作者周宏宇,后台开发,目前负责腾讯云TKE的接入层网络组件(Ingress、Service)。在团队中负责接入层组件的技术方案、开发测试以及相关的服务技术支持。 前言 Kubernetes在集群接入层设计并提供了两种原生资源Service和Ingress,分别负责四层和七层的网络接入层配置。 传统的做法是创建Ingress或LoadBalancer类型的Service来绑定腾讯云的负载均衡将服务对外暴露。这种做法将用户流量负载到用户节点的NodePort上,通过KubeProxy组件转发到容器网络中,但这种
前言 今年6月,Kubernetes (K8s)迎来了8周岁。K8s 大幅降低了容器化应用部署的门槛,目前已在容器编排领域的事实标准。但随着 K8s 上的业务类型越来越丰富,它的配置也越来越复杂,给开发和运维同学带来了不少困难。 在 K8s 环境中,应用程序运行在跨集群内的多个节点,同时服务也将分布在多个集群或者多个云厂商中,这就使得追踪、监控这些应用程序及其所依赖的基础设施的健康状况,具有非常大的挑战性。 在这样的环境下,Prometheus 应运而生,天然支持 K8s,成为容器场景的最佳监控工具。在
以游戏业务为例,国内游戏厂商在海外发行游戏时,面临的首要问题即怎样在保障功能的情况下,尽量降低异地或海外接入点的访问时延,提升玩家的接入体验。
冉昕,腾讯云服务网格TCM产品经理,现负责云原生流量接入网关与应用通信可观测性等产品特性策划与设计工作。
EasyCVR平台的服务器集群功能已经发布了一段时间,越来越多的用户也逐渐开始部署集群方案。在此前的文章中我们也和大家分享过关于集群部署的相关操作和疑难问题解决,感兴趣的用户可以翻阅我们往期的文章进行了解。
原文:http://www.enmotech.com/web/detail/1/735/1.html (复制链接,打开浏览器即可查看)
随着全球云计算产业高速发展,越来越多的企业选择业务上云,为了能够为广大用户提供更好、更全面的产品功能与使用体验,我们正在不断努力中。9月份,我们在容器服务的产品形态、功能支持以及用户体验上做了系列优化,并发布了如下特性:
Elasticsearch 服务提供在用户 VPC 内通过私有网络 VIP 访问集群的方式,用户可以通过 Elasticsearch REST client 编写代码访问集群并将自己的数据导入到集群中,当然也可以通过官方提供的组件(如 logstash 和 beat)接入自己的数据。 本文以官方的 logstash 和 beats 为例,介绍不同类型的数据源接入 ES 的方式。
日志是记录系统中各种问题信息的关键,也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。
杨豪,腾讯云研发工程师,腾讯云智聆口语评测研发骨干。目前负责腾讯云智聆口语评测整体架构优化与系统迭代,专注于降本增效与服务可靠性提升。 邓琨,腾讯云高级研发工程师,专注于微服务云原生架构探索。负责智聆口语评测自动化运维上云建设,助力业务降本增效。 背景介绍 腾讯云智聆口语评测(Smart Oral Evaluation,SOE)是腾讯云推出的中英文语音评测产品,支持从儿童到成人全年龄覆盖的语音评测,提供单词、句子、段落、自由说等多种评测模式,从发音精准度、流利度、完整度等全方位打分机制,与专家打分相似度达
EasyCVR集群版本已经在近期发布,并且已经有不少的用户开始部署集群。关于EasyCVR服务器集群的技术类文章,我们在前期的内容中也介绍过不少,感兴趣的用户可以翻阅我们往期的文章进行了解。
vivo 人工智能计算平台小组从 2018 年底开始建设 AI 计算平台至今,已经在 kubernetes 集群、以及离线的深度学习模型训练等方面,积累了众多宝贵的开发、运维经验,并逐步打造出稳定的基础容器平台 - AI 容器平台(VContainer)。为了支撑公司 AI 在线业务的发展,满足公司对算力资源的高效调度管控需求,需要将在线业务,主要包括 C 端、推理等业务,由原来的虚拟机或物理机迁移至 AI 容器平台。于是小组从 2020 年初开始,基于在线业务的需求对 AI 容器平台进行进一步建设,并将平台与公司的 CMDB、CICD 等基础模块进行打通,使在线业务能够顺利从虚拟机、物理机迁移至 AI 容器平台。
接下来通过实例演示一下如何使用 Swarm 来创建安全的集群。 实例中包含 3 个管理节点和 3 个工作节点,如下图所示,可以根据需要自行调整管理节点和工作节点的数量、名称和 IP。
墨墨导读:本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历,这里先抛砖引玉,欢迎大家一起交流讨论。
导读:Elasticsearch是一个分布式的搜索和分析引擎,可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch基于Lucene开发,现在是使用最广的开源搜索引擎之一。Elasticsearch可以应用于在/离线日志流水、用户标签画像、数据库二级缓存、安全风控行为数据、图数据库索引、监控数据、Wiki文档检索等应用场景。58同城有自己的主搜,而一些内部创新搜索业务和大规模的数据实时OLAP ( On-Line Analytical Processing,联机分析处理 ) 则是使用Elasticsearch。
随着越来越多的业务选择HBase作为存储引擎,对HBase的可用性要求也越来越高,对于HBase的运维也提出了新的挑战。目前运维集群超过30+,而且接入的业务类型繁多,对于性能要求也不完全一样,这是今年面临的问题。从15年开始,结合京东的业务情况,基于大数据平台,实现用户接入使用全流程自动化。而今年,我们主要从集群层面上提升集群可用性。 1 控制隔离——rsgroup 在94版本中,经常困扰我们的一个问题就是集群上的某些机器会因为某些用户的不恰当操作,例如热点问题,大量的scan操作等导致机器上的其他表正常
EMQX是基于Erlang语言实现的开源大规模分布式物联网MQTT消息服务中间件,它支持千万级的设备接入和个位数毫秒的消息分发时延,可以帮助企业快速构建高性能、高可靠、实时数据处理的物联网端云连接平台。目前最新版的EMQX已经更新到5.x版本,理论上单集群可以实现亿级物联网设备的接入。但随着集群接入规模的增加,集群节点间数据同步的成本也越来越高,对服务器资源的需求也越来越大。本文主要围绕亿级规模连接集群的可扩展性问题,讨论在数据存储层面不同架构实现所带来的利与弊。
[1] https://k8s.io/docs/concepts/services-networking/ingress
EasyCVR平台的集群功能已经发布了一段时间,集群高效的协作特点促使很多用户已经开始部署集群的版本。有用户反馈在现场测试的过程中添加RTSP协议的设备时,出现提示服务器ID错误的报错,导致无法正常将设备添加进去。
容器网络实现中,相比于Overlay网络模型,Underlay网络具有更高的数据面转发性能。TCS(Tencent CloudNative Stack)在多集群的生产实践中,伴随着集群规模的增大,愈发需要能够支撑底层网络可以横向扩展的高性能网络方案。基于BGP实现的纯三层网络方案,打通Node与Pod以及Pod与Pod之间的网络通信,兼具高性能和强扩展属性助力TCS夯实底座。
控制台链接:https://console.tencentcloud.com/trocketmq
私有云以及混合云的优势越来越多,例如数据的安全性更高,能够得到更高的服务质量,部署灵活,用户对私有化的需求越来越旺盛。消息队列作为当前互联网架构中不可或缺的核心组件,而消息队列的产品多种多样,在众多消息队列中,腾讯云自研的消息队列CMQ 具备高可靠、高可用、高性能,易用的特点,推出私有化部署的能力,让用户能够拥有更强大的业务系统。
作者 | vivo 互联网容器团队 - Pan Liangbiao 本文根据潘良彪老师在“2022 vivo 开发者大会"现场演讲内容整理而成。vivo 互联网技术公众号后台回复【2022 VDC】获取互联网技术分会场议题相关资料。 2018 年起,vivo 以容器作为基础底座,打造了一站式云原生机器学习平台。向上支撑了算法中台,为算法工程师提供数据管理、模型训练、模型管理、模型部署等能力,为广告、推荐和搜索等业务赋能,成功为算法实现了降本、提效,让云原生和容器价值初露锋芒。基于机器学习平台的试点成果
园区网络的物理架构推荐采用树形组网,不仅便于部署和管理,还具有良好的扩展性。树形组网通常采用分层架构,园区网络的层次一般包括终端层、接入层、汇聚层和核心层等。针对接入层、汇聚层和核心层的层次结构,在实际应用中,我们可以根据网络规模和业务的需要,灵活选择两层或三层网络架构。
本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验,偏重于实践。
当前,各大云厂商均推出了Elasticsearch的云上托管服务,并通过提供运维管理、监控告警、日志查看等工具,方便用户进行集群的管理与维护。但在数据接入方面,腾讯云 Elasticsearch Service(ES)在实践中发现,用户仍需单独打通每一个组件的上下游,最终完成整个链路的创建,而数据链路涉及数据源配置、数据采集、数据缓存、数据加工、数据目的等复杂的流程,每一步都需要单独配置的情况下,用户接入以及运维的成本较高。 基于此,腾讯云ES推出了一站式的数据链路可视化接入服务,相对于传统的数据接入,数
TenDB Cluster是腾讯游戏CROS DBA团队提供的MySQL分布式关系型数据库解决方案,主要包括兼容MySQL协议、透明分库分表、负载均衡、高可用、在线扩展等特点。业务开发可以仅专注于业务逻辑的开发和运营,无需编写数据分片逻辑,在海量用户并发情况下也无须关心DB存储层的负载压力。 架构介绍 TenDB Cluster主要有三个模块:接入层TSpider,存储层TenDB,控制层Tdbctl。架构图如下: TSpider是TenDB Cluster集群的接入层。TSpider基于Maria
Docker提供了一种将应用程序安全,隔离运行的一种方式,能够将应用程序依赖和库文件打包在一个容器中,后续再任何地方运行起来即可,其包含了应用程序所依赖相关环境,一次构建,任意运行(build once,run anywhere)
李汇波,腾讯业务运维高级工程师,目前就职于TEG 云架构平台部 技术运营与质量中心,现负责微信、QQ社交类业务的视频转码运维。 摘要 随着短视频兴起和快速发展,对于视频转码处理的需求也越来越多。低码率高清晰,4K、超清、高清、标清适配不同终端和不同网络环境来提升用户体验,以及水印、logo、裁剪、截图等多样化的用户需求。 对于资源的多样化需求和弹性扩缩容也需要快速响应,而随着公司自研上云项目的推进,设备的稳定性和多样性可提供更多选择,来满足像朋友圈、视频号、广告、公众号等转码业务快速、稳定、抗突发的资源需
VPC提供给客户在云端创建自定义的网络服务,用户可以自定义在云端VPC的子网、IP规划等网络参数,将VPC抽象成用户在云端的数据中心。VPC对等连接方案解决了跨域云端数据中心之间的网络互通,VPC专线方案使用运营商专线将云端VPC和用户自有IDC连接起来,部分用户出于成本或者容灾考虑,采用IPsec/SSL VPN通过internet实现IDC与VPC的互通。 腾讯云提供在全球范围的云网络接入服务,且在计算和网络领域已经迈入“双百时代”(全网服务器总数量突破100万台,带宽峰值突破100T),如何高效
互联网公司发展到一定的规模,系统的高可用就变得极其重要。为了应对那些随时可能发生的意外,“多活”在如今互联网公司好像变得是必备的手段了。甚至一些公司发生一些 P0 事故之后,多活也会出现在 case study 的列表之内。
Scai,携程高级研发经理,多年深耕于账号中台,持续推进中台的技术架构演进及性能优化。
流计算 Oceanus 是位于云端的流式数据汇聚、计算服务。只需几分钟,您就可以轻松构建网站点击流分析、电商精准推荐、物联网 IoT 等应用。流计算基于 Apache Flink 构建,提供全托管的云上服务,您无须关注基础设施的运维,并能便捷对接云上数据源,获得完善的配套支持。
使用tke的接入层组件时候,很多时候会用到nginx-ingress,并且为了网站安全,很多时候会需要将域名接入到waf,但是waf只支持clb的7层监听接入https://cloud.tencent.com/document/product/627/40765
Workload XM是Cloudera现代数据平台以工作负载为中心的管理工具,可主动分析数据仓库、数据工程和机器学习环境的工作负载,提升应用程序性能,以及优化基础架构的容量配置。Workload XM与Cloudera Enterprise平台内的多种计算引擎进行交互,使用户能够全面了解各类性能指标,从而通过迭代模式进行自助服务。
上篇文章,讲述了接入层高可用设计,这篇文章我们聊聊TCM。TCM是腾讯云提供的微服务流量治理云产品,100% 兼容支持 Istio API,TCM 与腾讯云基础设施原生集成,提供全托管服务化的支撑能力,轻松保障和管理网格生命周期。
11月4日,在腾讯数字生态大会上,腾讯宣布了云原生领域一项重磅开源进展—— K8s 多集群管理项目 Clusternet 正式开源。 Clusternet 由腾讯联合多点生活、QQ音乐、富途证券、微众银行、酷狗音乐、三七互娱等共同发起,专注 K8s 多集群管理和应用治理方向,希望让管理多集群就像上网一样简单。 作为未来分布式云的技术基石,Clusternet 通过组件化方式扩展 K8s,将 K8s 强大的集群、应用和服务能力扩展至分布式云,能够兼容所有 K8s 生态资源和软件,帮助企业应用零成本升级至
随着公司业务发展和用户规模的增多,很多项目都在打造自己的评论功能,而评论的业务形态基本类似。当时各项目都是各自设计实现,存在较多重复的工作量;并且不同业务之间数据存在孤岛,很难产生联系。因此我们决定打造一款公司级的评论业务中台,为各业务方提供评论业务的快速接入能力。在经过对各大主流 APP 评论业务的竞品分析,我们发现大部分评论的业务形态都具备评论、回复、二次回复、点赞等功能。
本文来自vivo官网商城开发团队,主要讲述 vivo 评论中台在数据库设计上的技术探索和实践。
作者:厉辉,腾讯后台研发高级工程师,当前在腾讯游戏后台团队工作,熟悉四七层负载均衡以及 API 网关等技术领域,同时也是 CNCF Ambassador 以及 Apache APISIX PMC。 本文是在组内技术分享的发言稿,主要介绍 TGW 基本原理和架构,同时为了加深理解,会辅助对比 TGW 与 LVS(ipvs)的异同。本次分享是偏基础性的 TGW 介绍,不会特别深入技术细节,目的是帮助需要用到 TGW 的同事快速的了解 TGW。 零、引言 TGW,全称 Tencent Gateway,是一套实现多
在业务安全中,不仅仅要考虑业务是否有被攻击的可能,同时也要考虑整个业务的稳定性,如果大家认为这是运维要考虑的事情安全不需要考虑就有些片面了,在整体架构中,安全协同运维做好架构方面的设计是十分必要的,人无完人,只有方方面面都考虑到才能保证业务的安全。
腾讯金融科技(Tencent Financial Technology)是腾讯公司提供移动支付与金融服务的综合业务平台。业务领域包括移动支付、投资理财、民生服务和国际化等,作为支付业务的基石和底座,FiT 致力于建设和发展完善的支付平台能力,在微信支付、QQ 钱包等移动支付产品中持续进行功能和服务创新。
领取专属 10元无门槛券
手把手带您无忧上云