首页
学习
活动
专区
工具
TVP
发布

大数据和云计算技术

专栏作者
298
文章
436955
阅读量
101
订阅数
大数据和云计算技术周报(第167期)
本文内容讲解了关于网易云音乐基于Flink实时数仓实践,包括实时数仓版本的演进过程,具体实现和最佳实践。
大数据和云计算技术
2020-11-11
2K0
大数据与云计算技术周报(第161期)
本文主要从以下四个方面介绍:Spark SQL 在字节跳动的应用;什么是分桶;Spark 分桶的限制;字节跳动在分桶方面的优化。
大数据和云计算技术
2020-09-29
6840
大数据与云计算技术周报(第150期)
影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调整。
大数据和云计算技术
2020-07-10
7410
大数据与云计算技术周报(第142期)
“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。 本期会给大家奉献上精彩的:死锁、知识图谱、Spark 、TCP、MongoDB、Redis、AI、kafka。全是干货,希望大家喜欢!!!
大数据和云计算技术
2020-02-26
7860
大数据与云计算技术周报(第141期)
https://mp.weixin.qq.com/s/RSkmMo_9GENOLsCuE5YS1w
大数据和云计算技术
2020-02-26
5800
大数据与云计算技术周报(第140期)
本文主结合作者近千万级开发实战经验,和大家一起深入探讨一下Elasticsearch 索引设计,历时两周+的时间完成此文,干货满满,避免大家掉坑。
大数据和云计算技术
2020-02-19
5420
大数据与云计算技术周报(第139期)
ANTLR是一款功能强大的语法分析器生成器,可用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。Antlr在Hadoop整个生态系统应用较为广泛,如Hive 词法文件是Antlr3写的
大数据和云计算技术
2020-02-19
6370
大数据和云计算技术周报(第134期)
本文主要对Spark读取HBase Snapshort表进行了相关优化,剖析了部分源码,对部分源码进行了重写与改造,最终实现了HBase表的高效率读
大数据和云计算技术
2019-12-31
4430
大数据和云计算技术周报(第133期)
如今pc和手机的操作系统已被垄断,但是这个垄断却未必能在物联网时代延续,一个新兴的物联网操作系统浪潮正在袭来。本文介绍了全球各大厂家的物联网操作系统。
大数据和云计算技术
2019-12-18
9290
大数据和云计算技术周报(第132期)
本文介绍了ElasticSearch 亿级数据检索案例,关于如何通过优化ES实现几十亿的数据查询秒级响应的效果。
大数据和云计算技术
2019-12-18
4270
大数据与云计算技术周报(第131期)
给大家总结了8个计算机视觉深度学习中的常见bug,相信大家或多或少都遇到过,希望能帮助大家避免一些问题。
大数据和云计算技术
2019-12-03
6480
大数据与云计算技术周报(第130期)
随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。
大数据和云计算技术
2019-12-03
6510
大数据与云计算技术周报(第128期)
分布式数据仓库(TDW)是一个以hive + hadoop为基础的大规模分布式系统,它提供了一种类SQL语言(称为HQL)让用户可以方便在其上进行编程开发。
大数据和云计算技术
2019-11-19
6100
大数据和云计算技术周报(第127期)
通过java去实现, 基于AOP和Redis实现对接口调用情况的接口及IP限流,调用每个接口,实现正常与异常的调用,并限制同一个ip地址多次调用,文章中讲解了如何设计,以及事列代码
大数据和云计算技术
2019-11-04
5610
大数据和云计算技术周报(第124期)
使用降采样器,单个时间序列在一个时间范围内的多个数据点在一个对齐的时间戳中与数学函数一起聚合成单个值。这样我们可以将数量从604,800减少到168。
大数据和云计算技术
2019-10-15
3110
大数据和云计算技术周报(第93期)
有赞是一个商家服务公司,提供全行业全场景的电商解决方案。在有赞,大量的业务场景依赖对实时数据的处理,作为一类基础技术组件,服务着有赞内部几十个业务产品,几百个实时计算任务,其中包括交易数据大屏,商品实时统计分析,日志平台,调用链,风控等多个业务场景,本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。。
大数据和云计算技术
2019-09-24
4880
大数据和云计算技术周报(第94期)
本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。
大数据和云计算技术
2019-09-24
4020
大数据和云计算技术周报(第95期)
物联网应用层协议主要有CoAP, MQTT, XMPP, HTTP等,本文主要从XMPP的架构,协议栈、协议的原理等方面介绍了XMPP协议。
大数据和云计算技术
2019-09-24
4120
大数据和云计算技术周报(第96期)
本文分享了eBay团队如何对这些Hadoop job进行优化,eBay由于每天产生PB量级的CAL日志,如何解决MapReducejob实践中存在的问题对其它行业大有裨益。
大数据和云计算技术
2019-09-24
3710
大数据和云计算技术周报(第97期)
https://mp.weixin.qq.com/s/L0C2TajMEM3veHgB0Yazxg
大数据和云计算技术
2019-09-24
4060
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档