腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据学习笔记
专栏成员
举报
533
文章
781872
阅读量
73
订阅数
订阅专栏
申请加入专栏
全部文章(533)
http(63)
node.js(59)
java(54)
hadoop(54)
数据库(47)
网络安全(46)
编程算法(44)
大数据(42)
https(42)
sql(34)
Elasticsearch Service(32)
linux(31)
xml(29)
spark(25)
maven(24)
云数据库 SQL Server(23)
apache(23)
html(22)
spring(21)
协议(20)
api(18)
mapreduce(16)
tcp/ip(16)
机器学习(15)
jar(15)
网站(15)
python(14)
javascript(14)
其他(13)
bash(12)
centos(12)
yum(12)
zookeeper(12)
bash 指令(11)
分布式(11)
ide(10)
hbase(10)
yarn(9)
存储(9)
shell(9)
windows(9)
数据(9)
oracle(8)
容器镜像服务(8)
腾讯云测试服务(8)
json(7)
打包(7)
eclipse(7)
tomcat(7)
TDSQL MySQL 版(7)
tensorflow(6)
jquery(6)
容器(6)
jdk(6)
ssh(6)
spring cloud(6)
c++(5)
android(5)
命令行工具(5)
hive(5)
kafka(5)
elasticsearch(5)
mysql(5)
排序(5)
索引(5)
php(4)
云数据库 Redis(4)
git(4)
github(4)
ubuntu(4)
面向对象编程(4)
npm(4)
es(4)
flink(4)
partition(4)
root(4)
登录(4)
配置(4)
ruby on rails(3)
nginx(3)
文件存储(3)
es 2(3)
云推荐引擎(3)
人工智能(3)
gcc(3)
anaconda(3)
安全(3)
虚拟化(3)
data(3)
range(3)
service(3)
system(3)
测试(3)
服务(3)
集群(3)
权限(3)
算法(3)
官方文档(2)
区块链(2)
jsp(2)
css(2)
ajax(2)
postgresql(2)
lucene/solr(2)
unix(2)
数据加密服务(2)
DevOps 解决方案(2)
云数据库 MySQL(2)
开源(2)
缓存(2)
正则表达式(2)
jdbc(2)
grep(2)
rabbitmq(2)
数据分析(2)
数据处理(2)
微服务(2)
nat(2)
utf8(2)
add(2)
db(2)
default(2)
dynamic(2)
error(2)
jieba(2)
kibana(2)
lag(2)
less(2)
neo4j(2)
null(2)
schema(2)
select(2)
server(2)
分页(2)
后台(2)
解决方案(2)
搜索(2)
同步(2)
系统(2)
异常(2)
对象存储(1)
负载均衡(1)
比特币(1)
数字货币(1)
自动驾驶(1)
mac os(1)
c 语言(1)
c#(1)
go(1)
erlang(1)
bootstrap(1)
vue.js(1)
typescript(1)
sqlite(1)
搜索引擎(1)
全文检索(1)
windows server(1)
专用宿主机(1)
访问管理(1)
NAT 网关(1)
mongodb(1)
vr 视频解决方案(1)
express(1)
sass(1)
rollup.js(1)
serverless(1)
grunt(1)
运维(1)
爬虫(1)
jvm(1)
gui(1)
mybatis(1)
sql server(1)
dns(1)
hashmap(1)
ftp(1)
二叉树(1)
scrapy(1)
rpc(1)
udp(1)
zabbix(1)
uml(1)
ntp(1)
数据可视化(1)
云数据库 postgresql(1)
防火墙(1)
迁移(1)
admin(1)
agent(1)
aggregate(1)
auto(1)
bug(1)
cat(1)
centos7(1)
checkbox(1)
cli(1)
client(1)
cmd(1)
code(1)
command(1)
components(1)
controller(1)
dao(1)
dataset(1)
date(1)
deployment(1)
directory(1)
dom(1)
dos(1)
edit(1)
editor(1)
el(1)
event(1)
exception(1)
exe(1)
exit(1)
file(1)
form(1)
format(1)
fs(1)
graph(1)
hash(1)
hdfs(1)
host(1)
instance(1)
int(1)
io(1)
ip(1)
key(1)
kill(1)
label(1)
limit(1)
list(1)
localhost(1)
lock(1)
mariadb(1)
methods(1)
min(1)
ode(1)
pagination(1)
port(1)
preferences(1)
private(1)
process(1)
protected(1)
redis(1)
rows(1)
rpm(1)
set(1)
sha256(1)
sharepoint(1)
show(1)
src(1)
storage(1)
sudo(1)
sum(1)
tablet(1)
time(1)
tools(1)
unique(1)
upgrade(1)
upsert(1)
usb(1)
version(1)
vnc(1)
百度(1)
报表(1)
遍历(1)
编码(1)
编译(1)
部署(1)
插件(1)
程序(1)
程序设计(1)
定时任务(1)
队列(1)
多线程(1)
工具类(1)
函数(1)
基础(1)
加密(1)
脚本(1)
镜像(1)
连接(1)
面试(1)
内核(1)
排序算法(1)
日志(1)
入门(1)
设计(1)
事件(1)
事务(1)
数组(1)
文件上传(1)
文件系统(1)
性能(1)
虚拟机(1)
语法(1)
源码分析(1)
终端(1)
搜索文章
搜索
搜索
关闭
spark-shell --master yarn-client(异常已经解决)
spark
shell
hadoop
http
面向对象编程
可能是spark-shell --master yarn-client过时了,但是换成spark-shell --master yarn --deploy-mode client,依然报错。
程裕强
2022-05-06
1.2K
0
单机运行Spark Shell
spark
1 下载Spark-2.1.0-bin-hadoop2.7.tgz http://spark.apache.org/downloads.html 📷 2 解压缩 [root@sk1 ~]tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /opt 3 进入spark根目录 [root@sk1 ~]# cd /opt/spark-2.1.0-bin-hadoop2.7/ [root@sk1 spark-2.1.0-bin-hadoop2.7]# ls bin derby
程裕强
2022-05-06
357
0
单机运行Spark Shell遇到的一个低级错误
spark
shell
tcp/ip
下载spark-2.1.0-bin-hadoop2.7.tgz,解压缩直接进入spark根目录,然后运行bin/spark-shell即可进入。 但是今天遇到了一个低级错误: java.net.BindException: Cannot assign requested address: Service ‘sparkDriver’ failed after 16 retries (starting from 0)! Consider explicitly setting the appropriate port for the service ‘sparkDriver’ (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.
程裕强
2022-05-06
1.2K
0
Spark Doris Connector试错
腾讯云测试服务
spark
java
(1)官网文档 http://doris.apache.org/master/zh-CN/extending-doris/spark-doris-connector.html#%E7%89%88%E6%9C%AC%E5%85%BC%E5%AE%B9 (2)将doris-spark-1.0.0-SNAPSHOT.jar复制到Spark的jars目录
程裕强
2021-08-18
1.5K
0
Spark 3.1 Standalone集群搭建
spark
http
https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
程裕强
2021-08-13
635
0
Flink学习笔记:2、Flink介绍
spark
分布式
程裕强
2018-01-02
1.9K
0
Spark2.x学习笔记:18、Spark Streaming程序解读
spark
本文介绍了Spark 2.x中Spark Streaming的原理、DStream的转换操作、程序模板以及流式数据输入和输出。主要内容包括:将流式计算转化为一批批很小的、确定的批处理作业(micro-batch),以数秒为单位将数据流切分成离散的作业;使用RDD相关操作处理每批数据;以RDD为单位返回结果;以及编写Spark Streaming程序的流程和样例程序。
程裕强
2018-01-02
984
0
Spark2.x学习笔记:16、Spark Streaming入门实例NetworkWordCount
机器学习
spark
大数据
程裕强
2018-01-02
1.1K
0
Spark2.x学习笔记:9、 Spark编程实例
spark
机器学习
程裕强
2018-01-02
1.1K
0
Spark2.x学习笔记:17、Spark Streaming之HdfsWordCount 学习
spark
机器学习
大数据
程裕强
2018-01-02
668
0
Spark2.x学习笔记:12、Shuffle机制
spark
数据库
大数据
人工智能
本文介绍了Spark2.x中的Shuffle机制,包括HashShuffleManager和SortShuffleManager两种类型。HashShuffleManager会产生大量中间文件,影响性能,而SortShuffleManager则将中间文件合并成一个文件,减少文件数量,从而提高性能。通过使用SortShuffleManager,Spark可以更好地处理大数据集并提高性能。
程裕强
2018-01-02
1.1K
1
Kafka基本架构介绍
spark
apache
该文介绍了如何使用Kafka进行分布式消息处理系统。文章首先介绍了Kafka的基本概念,然后详细描述了Kafka的架构和组件。接着,文章深入探讨了Kafka的复制和分布式协调功能,以及如何使用Kafka进行消息处理。最后,文章介绍了Kafka的性能优化和常见问题解决方案。
程裕强
2018-01-02
3.4K
0
Spark2.x学习笔记:3、 Spark核心概念RDD
spark
机器学习
数据库
程裕强
2018-01-02
1.4K
0
Spark2.x学习笔记:8、 Spark应用程打包与提交
linux
spark
程裕强
2018-01-02
2.5K
0
Spark2.x学习笔记:4、Spark程序架构与运行模式
spark
大数据
数据库
apache
本文介绍了Spark2.x的集群部署方案,包括本地模式、独立模式、Spark on YARN/Mesos模式。其中,本地模式适用于小规模的开发环境,独立模式适用于独立部署的集群环境,Spark on YARN/Mesos模式则适用于大规模集群环境。
程裕强
2018-01-02
918
0
Spark2.x学习笔记:14、Spark SQL程序设计
spark
数据库
大数据
javascript
程裕强
2018-01-02
5.1K
0
Spark2.x学习笔记:7、Spark应用程序设计
spark
机器学习
hadoop
本文介绍了Spark编程的一些基础概念和常用操作,包括RDD、DataFrame、DataSet、Transformations、Actions、Spark Streaming、GraphX和Machine Learning。同时,文章还探讨了Spark在不同领域的应用,包括互联网广告、推荐系统、数据挖掘和自然语言处理等。文章还介绍了Spark的生态系统,包括Spark SQL、MLlib、GraphX和Structured Streaming。
程裕强
2018-01-02
1.1K
0
Spark2.x学习笔记:2、Scala简单例子
spark
云数据库 SQL Server
数据库
java
2、 Scala简单例子 参考教程:https://yq.aliyun.com/topic/69 2.1 交互式编程 spark-shell是Spark交互式运行模式,提供了交互式编程,边敲代码边执
程裕强
2018-01-02
3.1K
0
Spark2.x学习笔记:13、Spark SQL快速入门
spark
大数据
数据库
本文介绍了如何使用Spark SQL来读取和写入Hive数据表,并介绍了Spark SQL对Hive元数据的操作。
程裕强
2018-01-02
2.7K
0
Spark2.x学习笔记:10、简易电影受众系统
spark
机器学习
该文介绍了计算模型在处理用户评分数据中的实用性和有效性。文章首先介绍了用户评分数据的特点,然后详细阐述了计算模型在处理用户评分数据中的重要作用。最后,文章探讨了如何通过计算模型来提高用户评分数据的处理效率。
程裕强
2018-01-02
1.2K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档