浪淘沙-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

浪淘沙

专栏成员

86

文章

81408

阅读量

18

订阅数

实训day03--循环，内存，数组

jvm 存储容器

2018.06.06 1.switch用法 Scanner sc = new Scanner(System.in); while(true) { System.out.println(“请输入一个数字”); int a=sc.nextInt(); switch(a) { case 1 : System.out.println(“a=1”) ; break; default : System.out.println(“a=hah”) ; break; } }

2018-10-18

3850

Java学习day2--JAVA基础

java jvm 存储

2018.6.5 1.简单的java运行 javac Demo.java java Demo

2018-10-18

3220

SparkStreaming_Kafka_Redis整合

spark 云数据库 Redis 存储 apache java

1.将kafka streaming 和 redis整合实现词频统计 Producer.class 生成数据daokafka package day14; /** * 创建一个生产者生成随机的key 和字母 * 用于实现实时流统计词频并存储到redis */ import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord;

2018-10-18

9510

Flume学习笔记

apache 存储分布式 hbase hive

一、什么是Flume？ Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。二、flume特性 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景三、flume组件解析对于每一个Agent来说,它就是一共独立的守护进程(JVM),它从客户端接收数据 1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成 2、每一个agent相当于一个数据(被封装成Event对象)传递员，内部有三个组件： a)Source：采集组件，用于跟数据源对接，以获取数据 b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel：传输通道组件，用于从source将数据传递到sink d)event(所传的消息就是event)一行文本内容会被反序列化成一个event(event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8。四、flume安装 1)解压

2018-10-18

8760

Hbase学习笔记

hbase 分布式存储 go 开源

一、Hbase简介 1.什么是Hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable利用GFS作为其文件存储系统，HBASE利用Hadoop HDFS作为其文件存储系统；Google运行MAPREDUCE来处理Bigtable中的海量数据，HBASE同样利用Hadoop MapReduce来处理HBASE中的海量数据；Google Bigtable利用Chubby作为协同服务，HBASE利用Zookeeper作为对应。 2.与传统数据库的对比传统数据库遇到的问题： 1）数据量很大的时候无法存储 2）没有很好的备份机制 3）数据达到一定数量开始缓慢，很大的话基本无法支撑 HBASE优势： 1）线性扩展，随着数据量增多可以通过节点扩展进行支撑 2）数据存储在hdfs上，备份机制健全 3）通过zookeeper协调查找数据，访问速度块。 3.hbase集群中的角色 1、一个或者多个主节点，Hmaster 2、多个从节点，HregionServer

2018-10-18

7660

MapReduce操作实例

mapreduce java apache hadoop 存储

要点：有一个combiner方法，可以在执行完map时调用，从而对数据进行先一步的处理，降低Reduce的IO压力。

2018-10-18

1.5K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态