学习
实践
活动
工具
TVP
写文章

BigData--MapReduce入门

MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。

20040

BigData包含什么?

大约有那么两三年了,“互联网+”,“大数据”,“云计算”这些词语,出现在大众面前,这些词语还被政府官员和“创业者”们天天挂在嘴边,真是搞不懂,自己心里根...

619110
  • 广告
    关闭

    年末·限时回馈

    热卖云产品年终特惠,2核2G轻量应用服务器6.58元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    BigData集群搭建

    “本文主要介绍大数据相关集群搭建,包括hadoop集群、zookeeper集群、hbase集群、spark集群等”

    20030

    BigData--Hadoop技术

    (7)-chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限

    20610

    BigData |述说Apache Spark

    Spark是一个Apache项目,被标榜为"Lightning-Fast"的大数据处理工具,它的开源社区也是非常活跃,与Hadoop相比,其在内存中运行的速度可...

    25220

    The BigData,Hadoop组成及生态

    随着科技的发展,我们在网上留下的数据越来越多,大到网上购物、商品交易,小到浏览网页、微信聊天、手机自动记录日常行程等,可以说,在如今的生活里,只要你还在,你就会...

    18750

    BigData--Apache Flume框架

    Event 是 Flume NG 数据传输的基本单元。类似于 JMS 和消息系统中的消息。一个 Event 由标题和正文组成:前者是键/值映射,后者是任意字节数...

    39720

    BigData--Hadoop数据压缩

    要想对正在被写入一个输出流的数据进行压缩,我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionO...

    19420

    BigData | Beam的基本操作(PCollection)

    BigData,顾名思义就是大数据专栏了,主要是介绍常见的大数据相关的原理与技术实践,从基础到进阶,逐步带大家入门大数据。 ? 首先,PCollection的全称是 Parallel Collection(并行集合),顾名思义那就是可并行计算的数据集,与先前的RDD很相似(BigData |述说Apache Spark),它是一层数据抽象

    64620

    BigData-数据仓库学习

    二者对比 对比属性 OLTP OLAP 读特性 每次查询只返回少量记录 对大量记录进行汇总 写特性 随机、低延时写入用户的输入 批量导入...

    25120

    BIGDATA】Grafana告警之webhook的坑

    近日搭建一套基于ELK&Grafana的监控告警平台,目的是将生产端某性能日志导入ES中,通过Grafana进行可视化监测,同时设置告警。

    1.8K20

    BIGDATA】CSV文件导入到ClickHouse

    最近遇到给ClickHouse灌注测试数据的场景。方法多种多样,此处提供一种思路。

    48420

    BigData--Zookeeper介绍和使用

    每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。 事务ID是ZooKeeper中所有修改总的次序。每个修改都有...

    18440

    《快学BigData》--Hadoop总结(G)(40)

    Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210

    24720

    《快学BigData》--Hadoop总结(E)(38)

    Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210

    24220

    BigData--大数据技术之SparkSQL

    22310

    BigData--大数据技术之SparkStreaming

    所有基于窗口的操作都需要两个参数,分别为窗口时长以及滑动步长,两者都必须是 StreamContext 的批次间隔的整数倍。

    17820

    BigData-Apache HBase数据库

    内存和磁盘同时读取,但是将两个数据进行对比,返回时间戳大的数据,所以说HBase读取比写入要慢得多

    26020

    《快学BigData》--Hadoop总结(F)(39)

    Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210

    16120

    BigData | Apache Beam的诞生与发展

    Paper1: https://research.google.com/pubs/archive/35650.pdf

    70410

    扫码关注腾讯云开发者

    领取腾讯云代金券