腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据-Hadoop、Spark
专栏成员
举报
88
文章
145549
阅读量
39
订阅数
订阅专栏
申请加入专栏
全部文章(88)
spark(18)
其他(15)
linux(14)
hadoop(10)
hive(10)
大数据(9)
sql(7)
java(6)
node.js(6)
TDSQL MySQL 版(5)
http(5)
kubernetes(5)
hbase(5)
数据库(4)
云数据库 SQL Server(4)
yarn(4)
zookeeper(4)
打包(3)
apache(3)
容器镜像服务(3)
tcp/ip(3)
python(2)
javascript(2)
bash(2)
scala(2)
ubuntu(2)
专用宿主机(2)
容器(2)
编程算法(2)
存储(2)
html5(2)
jvm(2)
ssh(2)
面向对象编程(2)
windows(2)
https(2)
微服务(2)
kafka(2)
image(2)
png(2)
负载均衡(1)
go(1)
html(1)
云数据库 Redis(1)
jar(1)
tomcat(1)
maven(1)
负载均衡缓存(1)
bash 指令(1)
spring(1)
访问管理(1)
命令行工具(1)
es 2(1)
人工智能(1)
网站(1)
日志数据(1)
缓存(1)
shell(1)
网络安全(1)
jdk(1)
yum(1)
dns(1)
jdbc(1)
rpc(1)
kernel(1)
gcc(1)
kerberos(1)
数据分析(1)
数据结构(1)
nat(1)
emr(1)
flink(1)
file(1)
jmx(1)
list(1)
ls(1)
memory(1)
output(1)
sort(1)
time(1)
日志(1)
搜索文章
搜索
搜索
关闭
头条大数据实践
大数据
日志数据
数据库
数据分析
spark
一、 除了日志数据,关系数据库中的数据也是数据分析的重要来源。在数据的采集方式上,用Spark实现类 Sqoop 的分布式抓取替代了早期定期用单机全量抓取 MySQL 数据表的方式,有效的提升了抓取速度,突破了单机瓶颈。
sparkle123
2018-12-06
685
0
DataFrame常用操作
sql
数据库
在spark-shell状态下查看sql内置函数: spark.sql("show functions").show(1000) 比如:SUBSTR(columnName,0,1)='B' show,take,first,head df.show(30,false)df.take(10) df.first() df.head(3) 选择某列显示 df.select("column").show(30,false) 按条件过滤 df.filter("name='' OR name='NULL'").
sparkle123
2018-04-28
746
0
Linux上安装MySql
linux
云数据库 SQL Server
数据库
准备安装环境 CentOS6.7 Final MySQL-5.5.48-1.linux2.6.x86_64.rpm-bundle.tar 上传MySQL安装包到CentOS上 执行rz,就可以从本地选择要上传的文件了。 默认上传至服务器的usr/local目录下 设置执行权限chmod u+x MySQL-5.5.48-1.linux2.6.x86_64.rpm-bundle.tar 执行解压命令 tar -xvf MySQL-5.5.48-1.linux2.6.x86_64.rpm-bundle.t
sparkle123
2018-04-26
3.1K
0
SparkSQL操作外部数据源
spark
云数据库 SQL Server
数据库
sql
parquet数据 hive表数据 mysql表数据 hive与mysql结合 1.处理parquet数据 启动spark-shell: spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.27-bin.jar 在spark-shell模式下,执行 标准的加载方法 : val path = "file:///home/hadoop/app/xxx.parquet"//处理的parquet文件的路径 val us
sparkle123
2018-04-26
1.1K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档