腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

黑泽君的专栏

专栏作者

708

文章

1677848

阅读量

102

订阅数

大数据技术之_26_交通状态预测项目_01

kafka bash bash 指令 scala 腾讯云测试服务

该项目以车辆预测为基础，学习业务解决的方法论。学习完本项目后，可以解决如下问题或适用于如下业务场景： 1、公路堵车预测 2、地铁人流量预测 3、共享单车聚集点预测等等

2019-05-30

1.1K0

大数据技术之_19_Spark学习_01_Spark 基础解析小结（无图片）

bash bash 指令 spark http ide

2、Spark Standalone 即独立模式 2.1、解压安装包到你安装的目录。 2.2、拷贝 conf 目录下的 slaves 文件，将 slave 节点的 hostname 写在文件中，每行一个。 2.3、拷贝 conf 目录下的 spark-env.sh 文件，将 SPARK_MASTER_HOST 和 SPARK_MASTER_PORT 指定。 2.4、分发你的 spark 安装目录到其他节点。 2.5、在 master 节点上执行 /opt/module/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh 来启动整个 spark 集群。 2.6、在浏览器中访问 http://hadoop102:8080 来访问你的 spark 集群注意：如果在启动的时候出现 JAVA_HOME not set 那么可以在 sbin 目录下的 spark-config.sh 文件中输入 export JAVA_HOME=/opt/module/jdk1.8.0_144 然后分发到其他节点，这样问题即可解决。

2019-05-07

6580

大数据技术之_19_Spark学习_01_Spark 基础解析 + Spark 概述 + Spark 集群安装 + 执行 Spark 程序

spark hadoop shell bash bash 指令

Spark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校 AMPLab，2010 年开源，2013 年 6 月成为 Apache 孵化项目，2014 年 2 月成为 Apache 顶级项目。项目是用 Scala 进行编写。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、MLib、SparkR 等子项目，Spark 是基于内存计算的大数据并行计算框架。除了扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。Spark 适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理、迭代算法、交互式查询、流处理。通过在一个统一的框架下支持这些不同的计算，Spark 使我们可以简单而低耗地把各种处理流程整合在一起。而这样的组合，在实际的数据分析过程中是很有意义的。不仅如此，Spark 的这种特性还大大减轻了原先需要对各种平台分别管理的负担。大一统的软件栈，各个组件关系密切并且可以相互调用，这种设计有几个好处： 1、软件栈中所有的程序库和高级组件都可以从下层的改进中获益。 2、运行整个软件栈的代价变小了。不需要运行 5 到 10 套独立的软件系统了，一个机构只需要运行一套软件系统即可。系统的部署、维护、测试、支持等大大缩减。 3、能够构建出无缝整合不同处理模型的应用。 Spark 的内置项目如下：

2019-05-07

9330

大数据学习之_02_Shell学习

编程算法 linux bash bash 指令 html

1、脚本格式脚本以#!/bin/bash开头（表示指定解析器） 2、第一个Shell脚本：helloworld （1）需求：创建一个Shell脚本，输出helloworld （2）案例实操：

2019-02-26

1.4K0

解决在SecurecCRT登录后，发现方向键、backspace(退格键)、delete(删除键)为乱码的问题

shell bash linux

问题：使用securecrt ssh到linux之后，backspace(退格键)，delete(删除键)，以及4个方向键都为乱码，不能正常使用。按tab键也没有自动补全文件名。

2018-10-11

4.7K0

c语言基础学习02_helloworld

qt windows linux ftp bash

============================================================================= 涉及到的知识点有：include有两种用法、{}大括号用法解释、C语言自定义名字的要求、 c语言库函数printf的解释、编译错误有两种、调用system函数、c语言编译过程、操作系统结构、指令集中的cpu架构、QT常用快捷键、vs常用快捷键

2018-10-11

6670

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态