大数据和云计算技术

281 篇文章
86 人订阅

全部文章

大数据和云计算技术

大数据与云计算技术周报(第161期)

本文主要从以下四个方面介绍:Spark SQL 在字节跳动的应用;什么是分桶;Spark 分桶的限制;字节跳动在分桶方面的优化。

8420
大数据和云计算技术

大数据与云计算技术周报(第150期)

影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本...

14340
大数据和云计算技术

大数据与云计算技术周报(第142期)

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。 本期会给大家奉献上精彩的:死锁...

15220
大数据和云计算技术

大数据与云计算技术周报(第141期)

https://mp.weixin.qq.com/s/RSkmMo_9GENOLsCuE5YS1w

10920
大数据和云计算技术

大数据与云计算技术周报(第140期)

本文主结合作者近千万级开发实战经验,和大家一起深入探讨一下Elasticsearch 索引设计,历时两周+的时间完成此文,干货满满,避免大家掉坑。

12410
大数据和云计算技术

大数据与云计算技术周报(第139期)

ANTLR是一款功能强大的语法分析器生成器,可用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。Antlr...

13520
大数据和云计算技术

大数据和云计算技术周报(第134期)

本文主要对Spark读取HBase Snapshort表进行了相关优化,剖析了部分源码,对部分源码进行了重写与改造,最终实现了HBase表的高效率读

13220
大数据和云计算技术

大数据和云计算技术周报(第133期)

如今pc和手机的操作系统已被垄断,但是这个垄断却未必能在物联网时代延续,一个新兴的物联网操作系统浪潮正在袭来。本文介绍了全球各大厂家的物联网操作系统。

14430
大数据和云计算技术

大数据和云计算技术周报(第132期)

本文介绍了ElasticSearch 亿级数据检索案例,关于如何通过优化ES实现几十亿的数据查询秒级响应的效果。

11420
大数据和云计算技术

大数据与云计算技术周报(第131期)

给大家总结了8个计算机视觉深度学习中的常见bug,相信大家或多或少都遇到过,希望能帮助大家避免一些问题。

15430
大数据和云计算技术

大数据与云计算技术周报(第130期)

随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。

11330
大数据和云计算技术

大数据与云计算技术周报(第128期)

分布式数据仓库(TDW)是一个以hive + hadoop为基础的大规模分布式系统,它提供了一种类SQL语言(称为HQL)让用户可以方便在其上进行编程开发。

18830
大数据和云计算技术

大数据和云计算技术周报(第127期)

通过java去实现, 基于AOP和Redis实现对接口调用情况的接口及IP限流,调用每个接口,实现正常与异常的调用,并限制同一个ip地址多次调用,文章中讲解了如...

12620
大数据和云计算技术

Apache Cassandra 快速入门指南

我们在这篇文章简单介绍了 Apache Cassandra 是什么,以及有什么值得关注的特性。本文将简单介绍 Apache Cassandra 的安装以及简单使...

17540
大数据和云计算技术

Apache Cassandra 数据存储模型

我们在《Apache Cassandra 简介》文章中介绍了 Cassandra 的数据模型类似于 Google 的 Bigtable,对应的开源实现为 Apa...

22320
大数据和云计算技术

大数据和云计算技术周报(第124期)

使用降采样器,单个时间序列在一个时间范围内的多个数据点在一个对齐的时间戳中与数学函数一起聚合成单个值。这样我们可以将数量从604,800减少到168。

10620
大数据和云计算技术

一篇文章了解 Apache Cassandra 是什么

Apache Cassandra 是一个开源的、分布式、无中心、弹性可扩展、高可用、容错、一致性可调、面向行的数据库,它基于 Amazon Dynamo 的分布...

24310
大数据和云计算技术

大数据时代的结构化存储-HBase的应用实践

时间回到2011年,Hadoop作为新生事物,在阿里巴巴已经玩得风生水起,上千台规模的"云梯"是当时国内名声显赫的计算平台。 这一年,Hadoop的好兄弟HBa...

37120
大数据和云计算技术

ZBS:SmartX 分布式块存储 -- 元数据篇

以下文章转载于SmartX知乎博客,不同与国内的很多公司,SmartX完全自主开发了分布式块存储-ZBS,整个系统从架构到实现充分考虑了超融合系统的特点,以下内...

29620
大数据和云计算技术

大数据时代数据库-云HBase架构&生态&实践

现如今大量的中小型公司并没有大规模的数据,如果一家公司的数据量超过100T,且能通过数据产生新的价值,基本可以说是大数据公司了 。起初,一个创业公司的基本思路就...

26430

扫码关注云+社区

领取腾讯云代金券