腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8816)
视频
沙龙
1
回答
pyspark
的
红
移
库
、
、
在运行我
的
pyspark
程序时,我遇到了以下错误。py4j.GatewayConnection.run(GatewayConnection.java:238) at java.base/java.lang.Thread.run(Thread.java:829) 我导入了几个博客中提到
的
库
,但最终在其他spark
库
中遇到了冲突。请分享任何解释此问题
的
帖子/帖子 谢谢
浏览 18
提问于2021-07-31
得票数 2
1
回答
为什么星火需要S3来连接
红
移
仓库?同时,巨蟒熊猫可以直接阅读
红
移
表。
、
、
、
提前为这个愚蠢
的
问题道歉。我刚从AWS和
Pyspark
开始。我当时正在查看
pyspark
库
,并且我看到S3中需要一个tempdir才能读取
红
移
中
的
数据。我
的
问题是,为什么
pyspark
需要这个S3临时目录。其他
库
,例如Pandas,可以直接读取Redshift表,而无需使用任何临时目录。感谢每个人。 路易斯
浏览 4
提问于2022-05-14
得票数 0
2
回答
将蜂巢表迁移到
红
移
、
、
让我稍微解释一下这个场景:我在S3 (ORC,Parquet)上存储了数百个蜂窝表,所以只需要澄清一下HDFS。现在,我有兴趣将其中一些迁移到Redshift来运行一些性能测试。我知道redshift不支持ORC,Parquet,所以我需要创建一些CSV/JSON来使用COPY命令。我正在考虑使用Hive本身创建临时CSV表,然后迁移到Redshift。我还在考虑使用Spark来移动这些数据。有过这种情况的人吗?
浏览 0
提问于2018-03-14
得票数 1
回答已采纳
1
回答
使用
Pyspark
在
红
移时执行查询
、
、
你们中有谁能建议使用
pyspark
在
红
移
表上执行查询
的
方法吗?
浏览 2
提问于2021-07-29
得票数 0
1
回答
指定字符串长度大于256
的
pyspark
dataframe架构
、
、
、
我正在读一个描述超过256个字符
的
源码。我想把它们写到
红
移上。根据这一点:在创建数据帧时指定模式应该是一种变通方法。我不能让它工作。
浏览 9
提问于2018-09-06
得票数 1
回答已采纳
2
回答
使用
pyspark
将数据帧移动到
红
移
、
我有一张
红
移
的
桌子1, 'aaa', 'xxx'我在
pyspark
中有一个dataframe5, 'ddd', 'xyx' 现在我需要使用upsert模式将
pyspark
中
的
数据帧上传到red
浏览 6
提问于2018-01-09
得票数 1
2
回答
如何在Glue ETL中启用
pySpark
?
、
我有一个非常简单
的
Glue ETL Job,代码如下:在启用
红
移
连接
的
情况下创建作业。当执行作业时,我得到:似乎都提到、指出并暗示了
pyspark
的</e
浏览 56
提问于2019-07-17
得票数 0
回答已采纳
2
回答
如何使用boto3或psycopg2 python
库
在
红
移
中插入数据
、
、
、
、
在python函数中,哪个
库
最好用于"boto3“和"Psycopg2”中
的
红
移
操作:如果我得到以下答复,我会同意: 满足上述3项需求
的
任何一个
库
的
浏览 13
提问于2022-02-26
得票数 0
回答已采纳
1
回答
将拼花文件复制到具有逗号分隔数据
的
Redshift中
的
错误
、
、
、
我试图将位于S3中
的
拼花文件复制到Redshift,但由于一列中有逗号分隔
的
数据,它失败了。有谁知道如何在地板文件中处理这样
的
场景吗?"column_16" : "test1, test2"COPY schema.table_name FROM 's3://path/to/parquetfiles/'
浏览 10
提问于2022-11-29
得票数 0
2
回答
Amazon Redshift to Mysql,使用Pentaho数据集成
、
、
、
我们使用
的
是亚马逊
红
移
,数据
库
是亚马逊云中
的
POSTGRESQL.Tha数据。我们需要使用Pentaho数据集成Software.Could将数据从亚马逊
红
移
加载到Mysql,请告诉我们如何通过Pentaho连接到
红
移
?
浏览 0
提问于2014-11-14
得票数 0
1
回答
用火花变换
红
移
表
、
、
、
、
我试图在当前
红
移
表
的
基础上创建一个
红
移
表,我有一个脚本执行以下步骤:减少了我查询原始表
的
次数代替了Pandas. 我发现有一个包调用火花红
移
由Databrick,但我发现它没有维护很长一段时间,似乎不再工作。我试图将数据从s3中卸载,但由于我
浏览 1
提问于2021-05-06
得票数 0
1
回答
AWS运动连接程序
库
、
我正在开发一个实时
的
流式应用程序,它需要发送信息到AWS动态流,并从那里到AWS
红
移
。根据我对文档
的
阅读和理解,以下是将信息从Kinesis推送到Redshift
的
选项: 我发现Kinesis选项是将信息从流转移
浏览 3
提问于2017-05-15
得票数 2
回答已采纳
1
回答
AWS
红
移交叉帐户访问
、
、
不同
的
团队拥有不同
的
数据集。我想要实现
的
目标是能够查询不同团队拥有的不同来源(AWS帐户)。账户A-
红
移
访问帐户A
的
红
移数据
库
。我知道如何做第1部分,如何查询跨帐户
红
移
(第2部分)?
浏览 6
提问于2020-02-20
得票数 2
2
回答
EMR上
的
火花红
移
连接超时异常
、
、
、
我正在使用火花红
移
库
提供
的
数据砖读取数据从
红
移
表在星火。链接:.我能够连接
红
移
使用火花红
移
在星火本地模式。但是,除了以下例外,EMR上
的
相同代码都会失败: java.sql.SQLException: Error设置/关闭连接:连接超时。我尝试在我
的
EM
浏览 3
提问于2017-07-07
得票数 2
回答已采纳
1
回答
无效数字,值‘“,Pos 0,键入:
红
移
中
的
十进制
、
、
、
、
在尝试将数据从AWS S3加载到
红
移时,我面临十进制类型
红
移
表中任何列
的
问题。我能够加载非十进制数字在
红
移
,但不能加载数据类型,如数字(18,4)。S3中
的
DF模式:整数,B字符串,C小数(18,4),D时间戳来自stl_load_errors表
的
错误消息: redshift试图添加
的
浏览 1
提问于2021-04-05
得票数 1
回答已采纳
1
回答
本地模拟Redshift和S3
的
首选方法
、
、
问题 是否可以使用QA
红
移
,然后用LocalStack将这些文件复制到本地模拟
的
PosgreSQL,最后再使用模拟
的
PosgreSQL进行第二次
红
移
?这种方法会有更多
的
利大于弊吗?
红
<
浏览 9
提问于2022-03-16
得票数 1
1
回答
Cassandra数据
库
中数据分析
的
备选方案
、
、
、
我们需要对卡桑德拉数据
库
进行分析和报告。1)在卡桑德拉顶部使用火花。 导致维修费用高
的
要求 2)将数据移至
红
移
,并在此基础上进行分析。这对于我们
的
聚合查询来说效果很好,因为redshift是列数据
库
。能
浏览 2
提问于2016-06-20
得票数 2
1
回答
在
红
移
中执行跨数据
库
联邦查询可行吗?
、
、
、
虽然跨数据
库
查询(在基于ra3节点
的
集群中)和联合查询似乎单独工作,但它们似乎不能一起工作。我很可能漏掉了什么,所以问题就来了。详情如下:从ext_mdb.Table2选择计数(1);从RSDB1.ext_mdb.Table2选择计数(1);#这也有效 我还可以在连接到RSDB2时使
浏览 7
提问于2021-12-01
得票数 0
回答已采纳
3
回答
我该怎么杀
红
移
?
、
、
、
我用apt-get安装了
红
移
。我打开Linux系统监视器,却找不到任何我认为是
红
移
的
东西。当然不是所谓
的
红
移
。 那我该怎么杀
红
移
呢?
浏览 0
提问于2017-10-04
得票数 8
回答已采纳
3
回答
在DataGrip中定义
红
移
连接
、
、
我试图在DataGrip中定义一个
红
移
连接,但在UI中找不到任何
红
移
驱动。我尝试使用Postgres和通用数据
库
驱动程序,但没有成功。 有没有人能够配置这个?
浏览 81
提问于2016-02-14
得票数 21
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PySpark调优
Python开源数据分析工具TOP 3!
大数据下Python的三款大数据分析工具
pyspark 安装
PySpark分析二进制文件
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券