腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
黑泽君的专栏
专栏成员
举报
708
文章
1751404
阅读量
103
订阅数
订阅专栏
申请加入专栏
全部文章(708)
其他(310)
java(123)
linux(40)
http(35)
编程算法(34)
windows(34)
eclipse(33)
数据库(32)
存储(27)
大数据(25)
xml(23)
html(22)
面向对象编程(20)
sql(19)
安全(19)
ide(18)
git(17)
云数据库 SQL Server(16)
tomcat(16)
python(13)
jar(13)
servlet(12)
jsp(12)
scala(12)
spark(12)
hadoop(12)
api(11)
spring(11)
开源(10)
jdk(10)
云数据库 Redis(8)
容器(8)
jvm(8)
gui(8)
go(7)
node.js(7)
jquery(7)
ajax(7)
oracle(7)
maven(7)
mapreduce(7)
hive(7)
数据结构(7)
bash(6)
腾讯云测试服务(6)
mongodb(6)
hbase(6)
svn(5)
struts(5)
unix(5)
ubuntu(5)
apache(5)
游戏(5)
分布式(5)
缓存(5)
ftp(5)
ios(4)
单片机(4)
mvc(4)
bash 指令(4)
云数据库 MongoDB(4)
shell(4)
jdbc(4)
asp(4)
tcp/ip(4)
dubbo(4)
udp(4)
kafka(4)
bootstrap(3)
json(3)
android(3)
qt(3)
全文检索(3)
centos(3)
网络安全(3)
hashmap(3)
监督学习(3)
zookeeper(3)
kotlin(3)
单元测试(3)
gcc(3)
nat(3)
虚拟化(3)
NLP 服务(2)
数据挖掘(2)
机器学习(2)
php(2)
javascript(2)
ecmascript(2)
arm(2)
打包(2)
搜索引擎(2)
lucene/solr(2)
nginx(2)
神经网络(2)
深度学习(2)
TDSQL MySQL 版(2)
海外加速(2)
腾讯git代码托管(工蜂)(2)
图像处理(2)
电商(2)
express(2)
yarn(2)
自动化(2)
ssh(2)
mybatis(2)
dns(2)
线性回归(2)
grep(2)
aop(2)
rpc(2)
socket编程(2)
数据分析(2)
数据处理(2)
https(2)
云计算(2)
Elasticsearch Service(2)
测试(2)
模型(2)
数据(2)
算法(2)
负载均衡(1)
c 语言(1)
c++(1)
actionscript(1)
汇编语言(1)
嵌入式(1)
github(1)
analyzer(1)
专用宿主机(1)
访问管理(1)
企业邮箱(1)
大数据处理套件 TBDS(1)
人工智能(1)
网站(1)
数据备份(1)
混合云存储(1)
日志数据(1)
出行(1)
reactnative(1)
压力测试(1)
html5(1)
正则表达式(1)
erp(1)
yum(1)
unity(1)
自动化测试(1)
ntp(1)
小程序(1)
notepad ++(1)
es(1)
数据库管理(1)
cmd(1)
editor(1)
exe(1)
file(1)
input(1)
list(1)
readline(1)
settings(1)
show(1)
二进制(1)
面试(1)
异常(1)
搜索文章
搜索
搜索
关闭
大数据技术之_26_交通状态预测项目_01
kafka
bash
bash 指令
scala
腾讯云测试服务
该项目以车辆预测为基础,学习业务解决的方法论。 学习完本项目后,可以解决如下问题或适用于如下业务场景: 1、公路堵车预测 2、地铁人流量预测 3、共享单车聚集点预测等等
黑泽君
2019-05-30
1.2K
0
大数据技术之_19_Spark学习_01_Spark 基础解析小结(无图片)
bash
bash 指令
spark
http
ide
2、Spark Standalone 即独立模式 2.1、解压安装包到你安装的目录。 2.2、拷贝 conf 目录下的 slaves 文件,将 slave 节点的 hostname 写在文件中,每行一个。 2.3、拷贝 conf 目录下的 spark-env.sh 文件,将 SPARK_MASTER_HOST 和 SPARK_MASTER_PORT 指定。 2.4、分发你的 spark 安装目录到其他节点。 2.5、在 master 节点上执行 /opt/module/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh 来启动整个 spark 集群。 2.6、在浏览器中访问 http://hadoop102:8080 来访问你的 spark 集群 注意:如果在启动的时候出现 JAVA_HOME not set 那么可以在 sbin 目录下的 spark-config.sh 文件中输入 export JAVA_HOME=/opt/module/jdk1.8.0_144 然后分发到其他节点,这样问题即可解决。
黑泽君
2019-05-07
683
0
大数据技术之_19_Spark学习_01_Spark 基础解析 + Spark 概述 + Spark 集群安装 + 执行 Spark 程序
spark
hadoop
shell
bash
bash 指令
Spark 是一种快速、通用、可扩展的大数据分析引擎,2009 年诞生于加州大学伯克利分校 AMPLab,2010 年开源,2013 年 6 月成为 Apache 孵化项目,2014 年 2 月成为 Apache 顶级项目。项目是用 Scala 进行编写。 目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含 SparkSQL、Spark Streaming、GraphX、MLib、SparkR 等子项目,Spark 是基于内存计算的大数据并行计算框架。除了扩展了广泛使用的 MapReduce 计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。Spark 适用于各种各样原先需要多种不同的分布式平台的场景,包括批处理、迭代算法、交互式查询、流处理。通过在一个统一的框架下支持这些不同的计算,Spark 使我们可以简单而低耗地把各种处理流程整合在一起。而这样的组合,在实际的数据分析过程中是很有意义的。不仅如此,Spark 的这种特性还大大减轻了原先需要对各种平台分别管理的负担。 大一统的软件栈,各个组件关系密切并且可以相互调用,这种设计有几个好处: 1、软件栈中所有的程序库和高级组件都可以从下层的改进中获益。 2、运行整个软件栈的代价变小了。不需要运行 5 到 10 套独立的软件系统了,一个机构只需要运行一套软件系统即可。系统的部署、维护、测试、支持等大大缩减。 3、能够构建出无缝整合不同处理模型的应用。 Spark 的内置项目如下:
黑泽君
2019-05-07
971
0
大数据学习之_02_Shell学习
编程算法
linux
bash
bash 指令
html
1、脚本格式 脚本以#!/bin/bash开头(表示指定解析器) 2、第一个Shell脚本:helloworld (1)需求:创建一个Shell脚本,输出helloworld (2)案例实操:
黑泽君
2019-02-26
1.5K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档