腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
about云
专栏成员
举报
216
文章
329449
阅读量
58
订阅数
订阅专栏
申请加入专栏
全部文章(216)
spark(40)
大数据(37)
hadoop(32)
其他(22)
编程算法(19)
sql(18)
apache(17)
人工智能(17)
bash(13)
yarn(13)
机器学习(12)
数据库(12)
存储(11)
shell(11)
hive(10)
php(9)
bash 指令(9)
https(9)
http(8)
开源(8)
区块链(7)
数据挖掘(7)
scala(7)
node.js(7)
安全(7)
hbase(7)
kafka(7)
api(6)
网络安全(6)
数据分析(6)
xml(5)
linux(5)
容器(5)
java(4)
html(4)
神经网络(4)
深度学习(4)
TDSQL MySQL 版(4)
分布式(4)
zookeeper(4)
微信(4)
架构设计(4)
flink(4)
面试(4)
git(3)
企业(3)
openstack(3)
数据处理(3)
chatgpt(3)
比特币(2)
自动驾驶(2)
qt(2)
云数据库 SQL Server(2)
ide(2)
unix(2)
容器镜像服务(2)
mapreduce(2)
图像处理(2)
网站(2)
kubernetes(2)
游戏(2)
缓存(2)
jdk(2)
ssh(2)
erp(2)
推荐系统(2)
tcp/ip(2)
windows(2)
数据可视化(2)
物联网(2)
数据结构(2)
系统架构(2)
微服务(2)
com(2)
gpt(2)
it(2)
工作(2)
数据(2)
对象存储(1)
tensorflow(1)
python(1)
go(1)
r 语言(1)
json(1)
android(1)
oracle(1)
nosql(1)
云数据库 Redis(1)
eclipse(1)
github(1)
maven(1)
搜索引擎(1)
ubuntu(1)
windows server(1)
批量计算(1)
文件存储(1)
短视频(1)
日志数据(1)
金融(1)
运维(1)
爬虫(1)
无人驾驶(1)
hashmap(1)
监督学习(1)
线性回归(1)
ddos(1)
iis(1)
无监督学习(1)
机器人(1)
nat(1)
云计算(1)
数据湖(1)
教育(1)
bug(1)
coding(1)
dataframe(1)
overflow(1)
paypal(1)
server(1)
show(1)
sqoop(1)
stack(1)
streaming(1)
编程(1)
编程语言(1)
程序员(1)
翻译(1)
公众号(1)
行业(1)
互联网(1)
华为(1)
技巧(1)
架构(1)
解决方案(1)
开发者(1)
科技(1)
求职(1)
软件开发(1)
搜索(1)
腾讯(1)
项目经理(1)
异常(1)
搜索文章
搜索
搜索
关闭
工作经验分享:Spark调优【优化后性能提升1200%】
spark
bash
bash 指令
hive
分布式
问题导读 1.本文遇到了什么问题? 2.遇到问题后,做了哪些分析? 3.本文解决倾斜使用哪些方法? 4.本次数据倾斜那种方法更有效? 5.解决性能优化问题的原理是什么? 优化后效果 1.业务处理中存在复杂的多表关联和计算逻辑(原始数据达百亿数量级) 2.优化后,spark计算性能提升了约12倍(6h-->30min) 3.最终,业务的性能瓶颈存在于ES写入(计算结果,ES索引document数约为21亿 pri.store.size约 300gb)
用户1410343
2021-03-03
1.7K
0
数据中台到底如何落地实现【含架构图及代码】
对象存储
网站
bash
bash 指令
https
数据中台已经被很多公司应用,数据中台资料也不少,可是作为程序员更关心的是该如何代码实现。下面是中台相关代码实现及说明。
用户1410343
2020-07-15
906
0
Flink1.9新特性解读:通过Flink SQL查询Pulsar
大数据
bash
shell
bash 指令
https
问题导读 1.Pulsar是什么组件? 2.Pulsar作为Flink Catalog,有哪些好处? 3.Flink是否直接使用Pulsar原始模式? 4.Flink如何从Pulsar读写数据? Flink1.9新增了很多的功能,其中一个对我们非常实用的特性通过Flink SQL查询Pulsar给大家介绍。 我们以前可能遇到过这样的问题。通过Spark读取Kafka,但是如果我们想查询kafka困难度有点大的,当然当前Spark也已经实现了可以通过Spark sql来查询kafka的数据。那么Flink 1.9又是如何实现通过Flink sql来查询Pulsar。 可能我们大多对kafka的比较熟悉的,但是对于Pulsar或许只是听说过,所以这里将Pulsar介绍下。 Pulsar简介 Pulsar由雅虎开发并开源的一个多租户、高可用,服务间的消息系统,目前是Apache软件基金会的孵化器项目。 Apache Pulsar是一个开源的分布式pub-sub消息系统,用于服务器到服务器消息传递的多租户,高性能解决方案,包括多个功能,例如Pulsar实例中对多个集群的本机支持,跨集群的消息的无缝geo-replication,非常低的发布和端到端 - 延迟,超过一百万个主题的无缝可扩展性,以及由Apache BookKeeper等提供的持久消息存储保证消息传递。 Pulsar已经在一些名企应用,比如腾讯用它类计费。而且它的扩展性是非常优秀的。下面是实际使用用户对他的认识。
用户1410343
2020-02-13
2.1K
0
centos7:SSH公钥无密码认证
shell
ssh
bash
bash 指令
问题导读 1.如何生成密钥对? 2.ssh localhost不成功,可能原因是什么? 3.ssh localhost警告的含义是什么? 在当前机器生成密钥对 [Bash shell] 纯
用户1410343
2018-03-27
1.1K
0
about云日志分析项目准备高可靠centos7安装jdk1.8【rpm】
bash
bash 指令
jdk
node.js
http
问题导读 1.rpm与tar包有什么区别? 2.如何rpm包? 3.如何为rpm指定路径安装? 来自云小组 about云日志分析项目准备6-1补充:jdk1.8安装【rpm】 http://ww
用户1410343
2018-03-27
951
0
Cloudera Manager Server5及Cloudera Manager Agents5命令整理(about云)
bash
bash 指令
问题导读 1.使用什么命令可以开启、停止、重启Cloudera Manager Server 2.如何强制重启Agents 3.什么情况下适合强制重启Agents 4.如何查看Agents状态 1.Cloudera Manager Server命令 开启, 停止, 和 重启 Cloudera Manager Server 1.1开启 $ sudo service cloudera-scm-server start 1.2停止 $ sudo service cloudera-scm-serv
用户1410343
2018-03-27
1.3K
0
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
apache
bash
bash 指令
问题导读: 1.什么是flume? 2.如何安装flume? 3.flume的配置文件与其它软件有什么不同? 一、认识flume 1.flume是什么? 这里简单介绍一下,它是Cloudera的一个产品 2.flume是干什么的? 收集日志的 3.flume如何搜集日志? 我们把flume比作情报人员 (1)搜集信息 (2)获取记忆信息 (3)传递报告间谍信息 flume是怎么完成上面三件事情的,三个组件: source: 搜集信息 channel:传递信息 sink:存储信息 上面有点简练,详细可以
用户1410343
2018-03-27
942
0
从零教你在Linux环境下(ubuntu)如何编译hadoop2.4
bash
bash 指令
hadoop
apache
maven
问题导读: 1.如果获取hadoop src maven包? 2.编译hadoop需要装哪些软件? 3.如何编译hadoop2.4? 扩展: 编译hadoop为何安装这些软件? 一、首先
用户1410343
2018-03-27
1.2K
0
扩展Yarn资源模型详解1
xml
yarn
shell
bash
bash 指令
问题导读 1.countable资源是指哪些? 2.noncountable资源,本文列举了什么资源? 3.标签是否为资源? 4.如何实现扩展YARN资源模型? 概述 当前Yarn支持各种资源类型:比如: disk( YARN2139),https://issues.apache.org/jira/browse/yarn-2139 network( YARN2140), https://issues.apache.org/jira/browse/YARN-2140 和HDFS bandwidth(
用户1410343
2018-03-26
825
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档