腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

浪淘沙

专栏作者

86

文章

79371

阅读量

18

订阅数

SparkStreaming_Kafka_Redis整合

spark 云数据库 Redis 存储 apache java

1.将kafka streaming 和 redis整合实现词频统计 Producer.class 生成数据daokafka package day14; /** * 创建一个生产者生成随机的key 和字母 * 用于实现实时流统计词频并存储到redis */ import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord;

2018-10-18

9200

Flume学习笔记

apache 存储分布式 hbase hive

一、什么是Flume？ Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。二、flume特性 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景三、flume组件解析对于每一个Agent来说,它就是一共独立的守护进程(JVM),它从客户端接收数据 1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成 2、每一个agent相当于一个数据(被封装成Event对象)传递员，内部有三个组件： a)Source：采集组件，用于跟数据源对接，以获取数据 b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel：传输通道组件，用于从source将数据传递到sink d)event(所传的消息就是event)一行文本内容会被反序列化成一个event(event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8。四、flume安装 1)解压

2018-10-18

8590

spark apache access git http

1.ApacheAccessLog 解析下列数据 194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)" 183.49.46.228 - - [18/Sep/2013:06:49:23 +0000] "-" 400 0 "-" "-" 163.177.71.12 - - [1

2018-10-18

5250

spark求最受欢迎的老师的问题

spark http java .net apache

文件内容： http://bigdata.edu360.cn/zhangsan http://bigdata.edu360.cn/zhangsan http://bigdata.edu360.cn/lisi http://bigdata.edu360.cn/lisi 1.求最受欢迎的老师,不考虑课程类别(然后类似于wordCount) import java.net.URL import org.apache.log4j.{Level, Logger} import org.apache.spark.rd

2018-10-18

4160

Sprak学习--Maven实现之pom.xml配置

maven xml http apache spark

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" x

2018-10-18

6860

Spark 实现两表查询(SparkCore和SparkSql)

spark sql access java apache

1.将两张表的数据提取出来，转换成DataFrame，创建两个view。实现join查询

2018-10-18

1.4K0

MapReduce操作实例

mapreduce java apache hadoop 存储

要点：有一个combiner方法，可以在执行完map时调用，从而对数据进行先一步的处理，降低Reduce的IO压力。

2018-10-18

1.5K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态