大数据-Hadoop、Spark

53 篇文章
30 人订阅

全部文章

sparkle123

富士通南大 · 开发课长 (已认证)

2.2、宽依赖与窄依赖深度剖析

683
sparkle123

富士通南大 · 开发课长 (已认证)

2018-08-08

1、spark程序停-启,实时数据量一下子太多,如何处理 2、spark程序数据丢失,如何处理?duration是多少?

692
sparkle123

富士通南大 · 开发课长 (已认证)

hive bucket

hive中table可以拆分成partition, table和partition可以通过CLUSTERED BY 进一步分bucket,bucket中的数据...

591
sparkle123

富士通南大 · 开发课长 (已认证)

2018-08-01-日报

1、研究了数据治理、数据质量两份文档,整理了产品的功能需求文档, 使用在线工具将pdf转化为word,使用工具将chm转为word,转化效果还挺好的。 2、...

692
sparkle123

富士通南大 · 开发课长 (已认证)

【Hive】ERROR exec.DDLTask: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nati...

1/在$HADOOP_HOME/lib/native下面放了2.5.0-native-snappy.tar.gz,这是HDFS存储压缩所需的本地lib包。 c...

752
sparkle123

富士通南大 · 开发课长 (已认证)

Hadoop CombineTextInputFormat的使用

1003
sparkle123

富士通南大 · 开发课长 (已认证)

本地Eclipse提交MR程序到Yarn

1075
sparkle123

富士通南大 · 开发课长 (已认证)

java -jar运行MR程序

934
sparkle123

富士通南大 · 开发课长 (已认证)

maven-scala-plugin pom file error unknown

1034
sparkle123

富士通南大 · 开发课长 (已认证)

Linux解决方案:No space left on device

1725
sparkle123

富士通南大 · 开发课长 (已认证)

Flume整合Kafka实时收集日志信息

1503
sparkle123

富士通南大 · 开发课长 (已认证)

Flume + Kafka + Spark Streaming整合

1874
sparkle123

富士通南大 · 开发课长 (已认证)

Spark Streaming + Kafka整合

1825
sparkle123

富士通南大 · 开发课长 (已认证)

Logstash+Kafka+ZK集群整合

1774
sparkle123

富士通南大 · 开发课长 (已认证)

Elasticsearch+Kafka整合

1898
sparkle123

富士通南大 · 开发课长 (已认证)

第3章 Spark性能优化

1363
sparkle123

富士通南大 · 开发课长 (已认证)

day3-Akka实现RPC通信框架

代码: https://github.com/cyofeiyue/MyRPC 1.Akka配置信息 //Master akka.actor.provider ...

3298
sparkle123

富士通南大 · 开发课长 (已认证)

Java线程池

Callable 和 Runable都是启动一个线程, 不过Callable可以有返回值 import java.util.concurrent.{Callab...

3466
sparkle123

富士通南大 · 开发课长 (已认证)

Scala学习一

1.集合操作练习 //创建一个List val lst0 = List(1,7,9,8,0,3,5,4,6,2) //将lst0中每个元素乘以10后生成一个新的...

3506
sparkle123

富士通南大 · 开发课长 (已认证)

Unable to connect to zookeeper server within timeout: 6000

1.启动zookeeper 2.启动kafka 3.启动kafka-producer 4.启动kafka-consumer 5.生产一些消息 6.ka...

3016

扫码关注云+社区