首页
学习
活动
专区
工具
TVP
发布

大数据和云计算技术

专栏作者
298
文章
438862
阅读量
101
订阅数
云服务厂商人才空心化隐忧
snowflake 成为年度数据库 根据 DB-engine 统计的流行度,2021 年 snowflake 成为年度数据库。年度数据库的标准很简单,就是新增流行度最多的数据库,DB-Engine 对 2021 年度数据库解读是: Snowflake is the database management system that gained more popularity in our DB-Engines 1Ranking within the last year than any of the oth
大数据和云计算技术
2022-03-03
5530
大数据和云计算技术周报(第167期)
本文内容讲解了关于网易云音乐基于Flink实时数仓实践,包括实时数仓版本的演进过程,具体实现和最佳实践。
大数据和云计算技术
2020-11-11
2K0
大数据与云计算技术周报(第161期)
本文主要从以下四个方面介绍:Spark SQL 在字节跳动的应用;什么是分桶;Spark 分桶的限制;字节跳动在分桶方面的优化。
大数据和云计算技术
2020-09-29
6850
大数据与云计算技术周报(第150期)
影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调整。
大数据和云计算技术
2020-07-10
7440
大数据与云计算技术周报(第141期)
https://mp.weixin.qq.com/s/RSkmMo_9GENOLsCuE5YS1w
大数据和云计算技术
2020-02-26
5830
大数据与云计算技术周报(第139期)
ANTLR是一款功能强大的语法分析器生成器,可用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。Antlr在Hadoop整个生态系统应用较为广泛,如Hive 词法文件是Antlr3写的
大数据和云计算技术
2020-02-19
6390
大数据和云计算技术周报(第134期)
本文主要对Spark读取HBase Snapshort表进行了相关优化,剖析了部分源码,对部分源码进行了重写与改造,最终实现了HBase表的高效率读
大数据和云计算技术
2019-12-31
4460
大数据和云计算技术周报(第132期)
本文介绍了ElasticSearch 亿级数据检索案例,关于如何通过优化ES实现几十亿的数据查询秒级响应的效果。
大数据和云计算技术
2019-12-18
4310
大数据与云计算技术周报(第131期)
给大家总结了8个计算机视觉深度学习中的常见bug,相信大家或多或少都遇到过,希望能帮助大家避免一些问题。
大数据和云计算技术
2019-12-03
6480
大数据与云计算技术周报(第130期)
随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。
大数据和云计算技术
2019-12-03
6530
大数据和云计算技术周报(第124期)
使用降采样器,单个时间序列在一个时间范围内的多个数据点在一个对齐的时间戳中与数学函数一起聚合成单个值。这样我们可以将数量从604,800减少到168。
大数据和云计算技术
2019-10-15
3140
大数据和云计算技术周报(第94期)
本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。
大数据和云计算技术
2019-09-24
4040
大数据和云计算技术周报(第120期)
本文作者为百度PaddlePaddle组技术布道师Charlotte77,内容全是实战经验的精炼总结,强烈推荐大家收藏
大数据和云计算技术
2019-09-17
3920
大数据和云计算技术周报(第111期)
本文讲述了 HDFS Router-based Federation 的架构和特性。
大数据和云计算技术
2019-07-16
3080
大数据和云计算技术周报(第107期)
Spark应用中,Shuffle服务的可靠性和性能直接影响了Spark应用的执行效率,来自Facebook的Brian Cho与Dmitry Borovsky在今年4月份旧金山举行的Spark AI峰会上,分享了他们为Spark/Hive Shuffle优化做的工作,这些工作中的很大部分已经应用于Facebook的大数据平台生产环境,对于超大规模的Spark数据处理优化,有一定的参考借鉴价值。
大数据和云计算技术
2019-06-20
7050
大数据和云计算技术周报(第76期)
大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。
大数据和云计算技术
2018-12-12
6520
MongoDB系列8:MongoDB集合的增量更新
在关系型数据库中,经常会遇到这样的场景:用某张表或是多张表的关联产生的结果集,然后持续地更新另外一张表的数据,有时为了方便,只更新变化的数据,即增量更新。那么在MongoDB中如何实现这种场景呢?
大数据和云计算技术
2018-07-26
2.7K0
MongoDB系列10:Change Streams构建实时同步数据流
本文是第10篇,主要讲述Change Streams构建实时同步数据流的实战经验,非常值得一看。
大数据和云计算技术
2018-07-26
2.3K0
MongoDB系列12:MongoDB电子商务产品目录模型设计
本文是第12篇,主要讲述MongoDB电子商务产品目录模型设计实战操作,非常值得一看。
大数据和云计算技术
2018-07-26
1.3K0
MongoDB系列11:Munin监控MongoDB
Munin是一个网络资源监控工具,可以帮助分析资源趋势。默认提供了大量的分析图形。以下讲述如何设置MongoDB的Munin监控插件。
大数据和云计算技术
2018-07-26
1.2K0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档