加米谷大数据

加米谷大数据实战经验分享,大数据项目分享,大数据开发培训等

89 篇文章
32 人订阅

全部文章

加米谷大数据

Kafka性能测试

耗时:18秒 总体文件大小:2193.45MB 最大处理量:163.6659MB/S TPS:171616.1767条

902
加米谷大数据

Redis数据类型及应用场景

通常我们都把数据存到关系型数据库中,但为了提升应用的性能,我们应该把访频率高且不会经常变动的数据缓存到内存中。Redis 没有像 MySQL 这类关系型数据库那...

812
加米谷大数据

Python 3.7.0 正式版新特性解析

美国时间6月27日晚8点,Python 3.7.0 经过多轮测试,终于发布了正式版,增强了多处特性功能,同时 3.6 也更新到 3.6.6 稳定版本。

831
加米谷大数据

7种最常见的Hadoop和Spark项目

称之为“企业级数据中心”或“数据湖”,这个想法是你有不同的数据源,你想对它们进行数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们...

911
加米谷大数据

加米谷大数据携手成都商报财富沙龙第四期:区块链技术专题沙龙如期举行

6月28日下午,由成都商报主办、加米谷大数据机构和茂烨智能控股公司共同承办的大型全民公益活动——“商报财富沙龙”第四期如期顺利举行。

1032
加米谷大数据

数据分析之20个大数据可视化工具推荐

Tableau 是一款企业级的大数据可视化工具。Tableau 可以让你轻松创建图形,表格和地图。 它不仅提供了PC桌面版,还提供了服务器解决方案,...

984
加米谷大数据

Impala介绍

Impala 是一个高性能分析数据库,可针对存储在 Apache Hadoop 集群中的 PB 级数据进行闪电般快速的分布式 SQL 查询。Impala 还是一...

1073
加米谷大数据

Kafka日志设置和清除策略

config/log4j.properties中日志的级别设置的是TRACE,在长时间运行过程中产生的日志大小吓人,所以如果没有特殊需求,强烈建议将其更改成IN...

1022
加米谷大数据

Flume的高可靠,高性能和高扩展性

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建,所以依赖Java运行环境。

742
加米谷大数据

Java程序员如何利用Hadoop的力量

毫无疑问,大量的数据已经到来。到处都是数据,也有大量的数据。数据集的典型大小已经从giga字节猛增到Peta字节,并增加了复杂性。多方面的增加。数据来自不同的来...

991
加米谷大数据

Python连接Hive操作数据库

客户端连接Hive需要使用HiveServer2。HiveServer2是HiveServer的重写版本,HiveServer不支持多个客户端的并发请求。当前H...

1502
加米谷大数据

如何避免HBase写入过快引起的各种问题

client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==...

752
加米谷大数据

大数据开发最火的核心技术-Kafka

大数据时代来临,如果你还不知道Kafka那你就真的out了!据统计,有三分之一的世界财富500强企业正在使用Kafka,包括所有TOP10旅游公司,7家TOP1...

1102
加米谷大数据

Kafka Consumer的配置

FlinkKafkaConsumer08可以消费一个或多个Kafka topic的数据,它的构造器需要接收以下参数:

791
加米谷大数据

Kafka内部实现原理

Kafka内部消息是通过Log文件存储的。每个Partition就是一个物理目录,用于存放Log文件,假设一个Topic有两个Partition,那目录名就是t...

1182
加米谷大数据

在Redis中进行分页排序查询

Redis是一个高效的内存数据库,它支持包括String、List、Set、SortedSet和Hash等数据类型的存储,在Redis中通常根据数据的key查询...

1542
加米谷大数据

Redis数据存储优化机制详解

将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap来存储的。这个zipmap...

702
加米谷大数据

大数据基础之Spark

Spark 是 2010 年由 UC Berkeley AMPLab 开源的一款 基于内存的分布式计算框架,2013 年被Apache 基金会接管,是当前大数据...

662
加米谷大数据

Spark的性能调优

下面这些关于Spark的性能调优项,有的是来自官方的,有的是来自别的的工程师,有的则是我自己总结的。

912
加米谷大数据

Spark核心谈

在大数据领域,Spark平台因计算模型涵盖MapReduce,Streaming,SQL,Machine Learning,Graph等,为大数据计算提供一栈式...

1031

扫码关注云+社区