腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
码字搬砖
专栏成员
举报
209
文章
303328
阅读量
32
订阅数
订阅专栏
申请加入专栏
全部文章(209)
java(36)
大数据(35)
编程算法(33)
flink(32)
http(16)
kafka(16)
其他(15)
apache(14)
ide(13)
jvm(13)
sql(12)
hive(12)
spark(11)
linux(10)
缓存(10)
hadoop(8)
二叉树(8)
hbase(8)
python(7)
xml(7)
jar(7)
jdk(7)
node.js(6)
数据库(6)
文件存储(6)
json(5)
存储(5)
scrapy(5)
nat(5)
排序(5)
spring(4)
shell(4)
网络安全(4)
数据结构(4)
云数据库 SQL Server(3)
打包(3)
网站(3)
面向对象编程(3)
https(3)
processing(3)
javafx(3)
c++(2)
javascript(2)
go(2)
bash(2)
html(2)
jquery(2)
云数据库 Redis(2)
api(2)
maven(2)
unix(2)
centos(2)
批量计算(2)
yarn(2)
容器(2)
分布式(2)
自动化(2)
爬虫(2)
jdbc(2)
hashmap(2)
asp(2)
zookeeper(2)
windows(2)
es(2)
count(2)
join(2)
table(2)
工作(2)
数据(2)
算法(2)
tensorflow(1)
.net(1)
scala(1)
bootstrap(1)
react(1)
css(1)
汇编语言(1)
access(1)
eclipse(1)
git(1)
struts(1)
搜索引擎(1)
ubuntu(1)
容器镜像服务(1)
mapreduce(1)
专用宿主机(1)
腾讯云测试服务(1)
vr 视频解决方案(1)
express(1)
serverless(1)
parcel(1)
开源(1)
运维(1)
数据迁移(1)
yum(1)
grep(1)
ntp(1)
anaconda(1)
数据分析(1)
腾讯云开发者社区(1)
Elasticsearch Service(1)
apply(1)
bit(1)
driver(1)
func(1)
function(1)
hash(1)
impala(1)
int(1)
key(1)
label(1)
null(1)
object(1)
olap(1)
output(1)
pivot(1)
snapshot(1)
state(1)
tableview(1)
task(1)
time(1)
window(1)
遍历(1)
登录(1)
递归(1)
队列(1)
数组(1)
索引(1)
统计(1)
效率(1)
压缩(1)
异常(1)
字符串(1)
搜索文章
搜索
搜索
关闭
spark sql 生成 json
spark
sql
json
想通过 spark sql 查询 hive 表然后将相应的字段组装成 sql,类似于 json_object ,不过可惜的是 spark 3.1.x 并没有 json_object 函数,不过还好spark sql 有 to_json 函数
shengjk1
2022-06-22
1.5K
0
优化spark sql读取 kudu数据
spark
javascript
通过 spark sql 读取 kudu 数据,由于 kudu 表 只有 6 个 tablet ,所以 spark 默认只能启动 6 个 task,读取 kudu 数据,通过界面可以看到 kudu 的 scan 维持在 143M/s ,想要增大 spark 读取 kudu 的效率。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2020051118163413.png)
shengjk1
2020-05-12
2.1K
0
spark save parquet in impala dir not support add columns
spark
1.问题: 项目中使用 spark save parquet 到 impala( impala 为分区表 ) 的目录下面,然后在 impala 中添加字段,报错. 例如:我将 spark 生成的 parquet 数据放到 impala 表 event_s_p186 相应的目录下,然后添加字段 aaa,字段顺序如下:
shengjk1
2020-03-30
501
0
Antl4 访问者模式返回对象
ide
云数据库 SQL Server
sql
spark
数据库
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
shengjk1
2019-10-22
667
0
关于分布式计算框架连接kafka不满足同一消费者组不满足只有一个消费者的情况
spark
大数据
kafka
http
版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/88925425
shengjk1
2019-04-09
421
0
spark内存模型概论
spark
背景: 自从开始接触spark之后就一直很奇怪spark on yarn到底是怎么样跑起来了,具体的内存占用是怎么分配的?如果container的内存小于–executor-memory的话,spa
shengjk1
2018-12-06
957
0
CDH集成Kafka
http
hive
parcel
spark
1.离线 先下载相应版本的kafka http://archive.cloudera.com/kafka/parcels/ 然后放置相应目录,如下图:
shengjk1
2018-10-24
1.2K
0
CDH安装遇到问题
hive
spark
xml
yum
3.若hive想关联spark All HiveServer2 roles must have a Spark role (such as a Gateway) on the same host to pick up the Spark configuration. You must deploy Spark client configuration before this will work correctly.
shengjk1
2018-10-24
706
0
Spark Insert Hbase解决task not to serializable
spark
hbase
java
apache
hadoop
package javasssss; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import
shengjk1
2018-10-24
1K
0
解决spark streaming长时间运行日志不断增长问题
spark
yarn
java
apache
背景: 由于spark streaming是7*24小时不间断运行的,日志必然会越来越多到最后大的惊人,在此小二记录一下解决日志越来越大的过程,以便需要之人。
shengjk1
2018-10-24
2.7K
0
Spark redis的坑
spark
云数据库 Redis
scala
jar
对于用scala来写spark程序员来说,spark streaming连接redis spark-redis.jar肯定是首选,但有一个坑就是ssc.sparkContext.fromRedisKV 底层是通过scan来获取数据的,当redis中数据过多时,效率十分低下 设置并行度的时候,要注意不能大于redis的个数
shengjk1
2018-10-24
1.8K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档