首页
学习
活动
专区
工具
TVP
发布

大数据学习笔记

专栏成员
533
文章
781161
阅读量
73
订阅数
Kafka日志配置
在server.properties中配置了log.dirs值,表示kafka数据的存放目录,而非Kafka的日志目录。
程裕强
2022-05-06
7990
ElasticSearch 6.x 学习笔记:26.Java API之文档添加
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-docs-index.html
程裕强
2022-05-06
1810
ElasticSearch 6.x 学习笔记:23.Java API之Maven项目
参考官网,编写pom.xml https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/_maven_repository.html
程裕强
2022-05-06
3410
Hadoop基础教程-第7章 MapReduce进阶(7.1 MapReduce过程)
一般而言,数据文件都会上传到HDFS上,也就是说HDFS上的文件作为MapReduce的输入。已知block块大小是128M(Hadoop 2.x默认的blockSize是128MB,Hadoop 1.x默认的blockSize是64MB)。MapReduce计算框架首先会用InputFormat的子类FileInputFormat类对输入文件进行切分,形成输入分片(InputSplit)。每个InputSplit分片将作为一个Map任务的输入,输入分片(input split)存储的并非数据本身,而是一个分片长度和一个记录数据的位置的数组。也就是说,InputSplit只是对输入数据进行逻辑上切分,并不会将物理文件切分成片进行存储。
程裕强
2022-05-06
4850
Hadoop基础教程-第6章 MapReduce入门(6.1 MapReduce介绍)
MapReduce最早来源于谷歌公司的一篇学术论文,是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法,当时主要是为了解决其搜索引擎中大规模网页数据的并行化处理。但由于MapReduce可以普遍应用于很多大规模数据的计算问题,因此自发明MapReduce以后,Google公司内部进一步将其广泛应用于很多大规模数据处理问题。到目前为止,Google公司内有上万个各种不同的算法问题和程序都使用MapReduce进行处理。
程裕强
2022-05-06
2450
运行ambari-web源代码
参考文献: https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Code+Layout
程裕强
2022-05-06
5230
Ambari架构源码解析
Ambari是hadoop分布式集群配置管理工具,是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目,已经成为hadoop运维系统中的得力助手,引起了业界和学术界的关注。
程裕强
2022-05-06
9850
Node.js快速入门
下载最新版源码:https://nodejs.org/dist/v6.9.5/node-v6.9.5.tar.gz
程裕强
2022-05-06
11.3K0
JDBC访问SparkSQL
log4j:WARN No appenders could be found for logger (org.apache.hive.jdbc.Utils). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. id: 1     name: xiaoli    age: 16 Process finished with exit code 0
程裕强
2022-05-06
5590
搭建Ember开发环境
[root@master ~]# ember -v ember-cli: 2.10.0 node: 6.9.2 os: linux x64
程裕强
2022-05-06
6790
Doris之ROLLUP
可以看到rollup: rollup_userid,表示查询我们刚才创建的ROLLUP
程裕强
2021-09-08
2.2K0
SpringBoot 2.x 整合Echarts
在resources目录下创建js目录,然后将刚才下载的echarts.js文件放到js目录下。
程裕强
2019-05-27
3K0
Hadoop源码分析:HDFS读取文件
程裕强
2018-01-02
1.6K0
Spark2.x学习笔记:14、Spark SQL程序设计
程裕强
2018-01-02
5.1K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档