首页
学习
活动
专区
工具
TVP
发布

桥路_大数据

专栏成员
183
文章
246367
阅读量
36
订阅数
【HDFS】Java_API使用
首先完成Java开发环境准备,创建工程并导入开发所需的Jar包。之后在准备好的工程中完成以下步骤。
十里桃花舞丶
2021-09-10
4380
【HDFS】服务启动&Shell命令
因为脚本执行过程中,已经自动将Hadoop环境变量和节点间SSH免密登录配置好了,所以直接执行start-dfs.sh便可以直接启动HDFS集群(同时会启动Yarn)。
十里桃花舞丶
2021-09-10
1.1K0
【实用技巧】虚拟机一键更换IP,更换网络不再是问题
但这样也带来了一些问题,假设我在公司配置好之后,虚拟机能正常上网了。但回家后,因为连接的网络环境改变了,所以虚拟机又得重新根据网段配置IP。
十里桃花舞丶
2021-09-10
1.3K0
【小技巧】Shell批量处理报错信息,检测本地jar包是否存在
抛出了一堆使用冒号分割的jar包字符串。当然实际报错的jar包数量更多,这里截取了一部分。
十里桃花舞丶
2021-01-07
6160
【项目实战】ETL 数据导入
数据已经在 MySQL 中生成,接下来就开始进行数据仓库的搭建环节。首先最重要的,也是首要的流程便是 ETL。这个阶段,因为是对结构化数据进行抽取,所以直接使用 Sqoop 工具即可。Sqoop 工具被安装到了 Node03 中,所以在 Node03 中编写脚本调用 Sqoop 进行数据抽取;而脚本化的编写也有助于之后的自动化执行。
十里桃花舞丶
2020-09-24
7040
【课后作业】GMV 成交总额计算
在项目实战后,大家应该对数据仓库的整体流程有了一个较为清晰的认识。除了复购率的计算,接下来在原有数仓已经搭建成功的基础上,尝试着来完成 GMV 的计算任务,巩固知识的同时也体会下真实的工作内容。下面讲解和分析具体的作业内容。
十里桃花舞丶
2020-09-24
1.2K0
spark集群模式下textFile读取file本地文件报错解决
如果在spark-shell中使用textFile(“file://path”)演示,在local模式下是没有问题的,因为毕竟就是在本机运行,读取本地的文件。但是如果spark-shell --master指定spark集群的话,这样运行就会有问题,会报找不到文件的错误。
十里桃花舞丶
2019-02-20
1.8K0
linux面试基础考点
    博文介绍了一些面试中常被问到的一些知识点,是从我记录的笔记中整理出来,分享给大家。
十里桃花舞丶
2019-02-20
6910
使用Git+Shell自动化部署发布springboot WEB应用
前言     之前因为自己部署上线自己的博客系统,使用了SpringBoot自带的tomcat在服务器端直接运行gradle bootRun,而且用的是手动发布,就是自己打包好程序后上传到服务器端,然后再运行。这样带来一个问题就是,不好统一管理,自己修改代码后,还需要进行一系列繁杂的手动操作,效率是很低下的。网上有很多框架的时候,因为是个人使用,所以嫌重,于是自己搞了一套使用git + shell自动化部署spring boot web应用的脚本。前提是自己已经将代码上传到git仓库中,如还没有,请看我上一
十里桃花舞丶
2018-05-17
1.4K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档