首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

OPPO 大数据诊断平台“罗盘”正式开源

OPPO 大数据平台目前有 20+个服务组件,数据量超 1EB,离线任务数近百万,实时任务数千,数据开发分析师超千人。这也带来了系统复杂度的问题,一方面是用户经常对自己的任务运行状况“摸不着头脑”,不管是性能问题,还是参数配置问题,甚至是一些常见的权限报错问题,都需要咨询平台给出具体的解决方案;另一方面是平台面对各类繁杂任务,运维人员经常需要对任务故障定位和排除,由于任务链路长,组件日志多,运维压力大。因此急需对任务进行实时监控和诊断,不仅要能够帮助用户快速定位异常问题,还需给出具体的建议和优化方案,同时还能治理各类“僵尸”和不合理任务,从而达到降本增效的目的。据调研,目前业界尚无成熟的开源任务诊断平台。为此我们开发了大数据诊断平台,通过诊断平台周优化任务实例数超2 万,取得了良好的效果。

02
您找到你想要的搜索结果了吗?
是的
没有找到

智能计算 | 天穹SuperSQL如何利用机器学习实现计算引擎自适应

导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构,实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环,给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来,专注于业务逻辑的实现,像使用“数据库”一样使用“大数据”,实现业务逻辑与底层大数据技术的解耦。 背景 在大数据生态里,不同计算引擎适合不同的计算场景,Spark适合

03

建站的灵魂拷问:我的网站做好了,为啥无法搜索到?

随着互联网技术的不断发展,越来越多传统企业开始重视品牌的数字化升级,寻求关于网站搭建的方法与技巧。但是在建站的实践过程中总是会遇到不少难题,例如“我的网站做好了,为啥无法搜索到”?腾讯云就此通过大数据分析,筛选出企业客户最关注的3个问题,为您一探究竟。 1、网站制作好了,为什么无法访问? 当制作好网站后,所有人都关心我的网站什么时候能访问? 小技巧来啦!网站制作好之后,需要完成如下4个步骤,缺一不可。 ①绑定域名,将注册的域名同网站绑定上; ②网站备案,可在控制台---网站建设申请[备案授权码]通过授

03

降本超30%,智聆口语通过 TKE 注册节点实现 IDC GPU 节点降本增效实践

杨豪,腾讯云研发工程师,腾讯云智聆口语评测研发骨干。目前负责腾讯云智聆口语评测整体架构优化与系统迭代,专注于降本增效与服务可靠性提升。 邓琨,腾讯云高级研发工程师,专注于微服务云原生架构探索。负责智聆口语评测自动化运维上云建设,助力业务降本增效。 背景介绍 腾讯云智聆口语评测(Smart Oral Evaluation,SOE)是腾讯云推出的中英文语音评测产品,支持从儿童到成人全年龄覆盖的语音评测,提供单词、句子、段落、自由说等多种评测模式,从发音精准度、流利度、完整度等全方位打分机制,与专家打分相似度达

04

被热捧的云原生,和大数据怎么结合才能驱动商业?

导语 | 近几年炙手可热的云原生首先由Matt Stine提出并延续使用至今,但其并没有标准的、严格的定义,比较公认的四要素是:DevOps、微服务、持续交付、以及容器,更多的则是偏向应用系统的一种体系架构和方法论。那么在云上如何改进大数据基础架构让其符合云原生标准,同时给企业客户带来真真切切的数据分析成本降低和性能保障是一个开放性的话题。本文由腾讯专家工程师、腾讯云EMR技术负责人陈龙在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《云原生环境下大数据基础技术演进》演讲分享整理而成,与大家分享和探讨在云上如何实现存储计算云原生,以及未来下一代云原生大数据基础架构。

05

这个巡检平台你还不知道,真是亏大了!

巡检平台是一个面向运维人员的开箱即用的巡检产品,提供自动诊断问题的自动化运维能力。产品不仅提供了自动化的巡检能力和巡检报告给运维工程师使用,还针对巡检报告中的问题提供了运维专家经验的优化建议供修复时参考。运维人员也可以根据自己的定制需求,通过多样化巡检原子能力灵活定制个性化巡检项加入到定期巡检任务中,巡检原子能力包括脚本巡检、HTTP(S) 接口巡检和 IP 巡检;该平台还具备覆盖多个垂直产品和多个维度巡检的分类能力,运维人员可以根据产品归属不同人员等方式,让不同用户订阅不同的巡检报告,从而大大减少运维工程师定期手工巡检的工作量。

01
领券