桥路_大数据-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

桥路_大数据

专栏成员

183

文章

246628

阅读量

36

订阅数

【HDFS】Java_API使用

腾讯云测试服务 shell java hadoop api

首先完成Java开发环境准备，创建工程并导入开发所需的Jar包。之后在准备好的工程中完成以下步骤。

十里桃花舞丶

2021-09-10

4390

【HDFS】服务启动&Shell命令

node.js 大数据 shell hadoop

因为脚本执行过程中，已经自动将Hadoop环境变量和节点间SSH免密登录配置好了，所以直接执行start-dfs.sh便可以直接启动HDFS集群（同时会启动Yarn）。

十里桃花舞丶

2021-09-10

1.1K0

【实用技巧】虚拟机一键更换IP，更换网络不再是问题

tcp/ip 大数据 shell

但这样也带来了一些问题，假设我在公司配置好之后，虚拟机能正常上网了。但回家后，因为连接的网络环境改变了，所以虚拟机又得重新根据网段配置IP。

十里桃花舞丶

2021-09-10

1.3K0

【小技巧】Shell批量处理报错信息，检测本地jar包是否存在

编程算法 shell jar

抛出了一堆使用冒号分割的jar包字符串。当然实际报错的jar包数量更多，这里截取了一部分。

十里桃花舞丶

2021-01-07

6160

【项目实战】ETL 数据导入

shell etl mysql sqoop 脚本

数据已经在 MySQL 中生成，接下来就开始进行数据仓库的搭建环节。首先最重要的，也是首要的流程便是 ETL。这个阶段，因为是对结构化数据进行抽取，所以直接使用 Sqoop 工具即可。Sqoop 工具被安装到了 Node03 中，所以在 Node03 中编写脚本调用 Sqoop 进行数据抽取；而脚本化的编写也有助于之后的自动化执行。

十里桃花舞丶

2020-09-24

7060

【课后作业】GMV 成交总额计算

shell action mysql 数据仓库统计

在项目实战后，大家应该对数据仓库的整体流程有了一个较为清晰的认识。除了复购率的计算，接下来在原有数仓已经搭建成功的基础上，尝试着来完成 GMV 的计算任务，巩固知识的同时也体会下真实的工作内容。下面讲解和分析具体的作业内容。

十里桃花舞丶

2020-09-24

1.2K0

spark集群模式下textFile读取file本地文件报错解决

如果在spark-shell中使用textFile(“file://path”)演示，在local模式下是没有问题的，因为毕竟就是在本机运行，读取本地的文件。但是如果spark-shell --master指定spark集群的话，这样运行就会有问题，会报找不到文件的错误。

十里桃花舞丶

2019-02-20

1.8K0

linux面试基础考点

linux shell ide bash

博文介绍了一些面试中常被问到的一些知识点，是从我记录的笔记中整理出来，分享给大家。

十里桃花舞丶

2019-02-20

6920

使用Git+Shell自动化部署发布springboot WEB应用

git shell 自动化 spring

前言之前因为自己部署上线自己的博客系统，使用了SpringBoot自带的tomcat在服务器端直接运行gradle bootRun，而且用的是手动发布，就是自己打包好程序后上传到服务器端，然后再运行。这样带来一个问题就是，不好统一管理，自己修改代码后，还需要进行一系列繁杂的手动操作，效率是很低下的。网上有很多框架的时候，因为是个人使用，所以嫌重，于是自己搞了一套使用git + shell自动化部署spring boot web应用的脚本。前提是自己已经将代码上传到git仓库中，如还没有，请看我上一

十里桃花舞丶

2018-05-17

1.4K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态