腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
pyspark
并行
读取
红
移
、
、
、
可以
使用
PySpark
查询Amazon Redshift吗?我试着在stackoverflow上找到这个,但只有一些老问题,他们的解决方案不适用于我。我正在尝试
使用
Redshift Data Source for Apache Spark,但它不起作用。dbtable", "my_table") \ .load
浏览 41
提问于2020-07-08
得票数 0
回答已采纳
1
回答
为什么星火需要S3来连接
红
移
仓库?同时,巨蟒熊猫可以直接阅读
红
移
表。
、
、
、
我刚从AWS和
Pyspark
开始。我当时正在查看
pyspark
库,并且我看到S3中需要一个tempdir才能
读取
红
移
中的数据。我的问题是,为什么
pyspark
需要这个S3临时目录。其他库,例如Pandas,可以直接
读取
Redshift表,而无需
使用
任何临时目录。感谢每个人。 路易斯
浏览 4
提问于2022-05-14
得票数 0
2
回答
将蜂巢表迁移到
红
移
、
、
我知道redshift不支持ORC,Parquet,所以我需要创建一些CSV/JSON来
使用
COPY命令。我正在考虑
使用
Hive本身创建临时CSV表,然后迁移到Redshift。我还在考虑
使用
Spark来移动这些数据。有过这种情况的人吗?
浏览 0
提问于2018-03-14
得票数 1
回答已采纳
1
回答
使用
Pyspark
在
红
移时执行查询
、
、
你们中有谁能建议
使用
pyspark
在
红
移
表上执行查询的方法吗?
浏览 2
提问于2021-07-29
得票数 0
2
回答
Lambda - Store/Pass
红
移
连接
、
我将部署近300-400 Lambda
并行
,以实现我的期望之一。这些都是需要执行的非常小的计算,这需要从Redshift
读取
计算数据。我将
使用
pycopg2库来连接我的
红
移
群集。可以通过所有Lambda函数传递
红
移
连接吗?是否可以将连接详细信息存储在一个中心位置,我的Lambda函数可以
读取
它,然后查询到Redshift?
浏览 0
提问于2020-07-10
得票数 1
1
回答
将拼花文件复制到具有逗号分隔数据的Redshift中的错误
、
、
、
红
移
复制命令FROM 's3://path/to/parquetfiles/'FORMAT AS PARQUETdory_util.cpp:1445进程: worker_thread pid=21520 ErrorId [ErrorId: 1-63864993-580523e75d18ashsd88894 我试过
使用
浏览 10
提问于2022-11-29
得票数 0
1
回答
亚马逊
红
移节点
并行
请求花费的时间比顺序长
、
、
我正在尝试
使用
节点
红
移
和从我的节点应用程序上运行一系列选择查询。如果按顺序运行查询,则每次查询平均有2秒。但是,当我
并行
运行我的查询时,它们花费的时间要长得多,最后一个查询大约需要32秒。我清楚地看到,阻塞是由
并行
加载查询造成的。如之奈何?序列:
并行
:
浏览 0
提问于2018-04-16
得票数 1
2
回答
使用
pyspark
将数据帧移动到
红
移
、
我有一张
红
移
的桌子1, 'aaa', 'xxx'我在
pyspark
中有一个dataframe5, 'ddd', 'xyx' 现在我需要
使用
upsert模式将
pyspark
中的数据帧上传到redshift表中。
浏览 6
提问于2018-01-09
得票数 1
1
回答
指定字符串长度大于256的
pyspark
dataframe架构
、
、
、
我想把它们写到
红
移上。根据这一点:在创建数据帧时指定模式应该是一种变通方法。我不能让它工作。 如何
使用
varchar(max)指定模式?
浏览 9
提问于2018-09-06
得票数 1
回答已采纳
2
回答
EMR上的火花红
移
连接超时异常
、
、
、
我正在
使用
火花红
移
库提供的数据砖
读取
数据从
红
移
表在星火。链接:.我能够连接
红
移
使用
火花红
移
在星火本地模式。在执行此操作时,我
使用
了Source作为MyIP。
浏览 3
提问于2017-07-07
得票数 2
回答已采纳
1
回答
Redshift SqlActivity :如何在脚本中引用输入和输出
我有一个Datapipeline,其中我
使用
了一个
红
移
SqlActivity,它从一个
红
移
表中
读取
并写入另一个
红
移
表。
浏览 0
提问于2016-04-26
得票数 0
2
回答
数据仓库的AWS
红
移
或RDS?
、
、
、
读取
此表只是为了执行我们存储在OLTP数据库中的一些计算。我们目前正在评估Redshift,但以前从未
使用
过该服务。
浏览 4
提问于2021-07-22
得票数 0
回答已采纳
2
回答
如何在Glue ETL中启用
pySpark
?
、
我有一个非常简单的Glue ETL Job,代码如下:在启用
红
移
连接的情况下创建作业。当执行作业时,我得到:似乎都提到、指出并暗示了
pyspark
的可用性,但是为什么我的环境抱怨它没有
pys
浏览 56
提问于2019-07-17
得票数 0
回答已采纳
1
回答
红
移
温度表标识列
、
我的存储过程包括以下代码:( tablename nvarchar(128) SELECT LEFT(tablename, LEN(tablename) - 3) WHERE schemaname = 'spectrum' 然
浏览 1
提问于2021-07-06
得票数 0
回答已采纳
1
回答
在Redshift中实现
并行
性
、
、
、
我在亚马逊
红
移
表中每小时摄入一些数据。数据在.csv桶中每小时在一个S3文件中可用。我在Redshift中创建的表确实有分发键和排序键。CREDENTIALS 'aws_access_key_id=<MY_ID>;aws_secret_access_key=<SECRET_KEY>' delimiter '|'; ,或者,我是否需要在其中
使用
任何其他可选参数来
使用
红
<e
浏览 3
提问于2020-10-21
得票数 0
回答已采纳
1
回答
ASP.net宗地连接字符串
、
、
、
我想知道是否有人知道如何将ASP.net应用程序连接到paraccel?我对ASP.net开发非常陌生,刚刚安装了visual studio。但是,我的任务是创建一个连接到paraccel的web服务,以便让另一个非asp.net应用程序获得它所需的内容。我知道需要在Web.config文件中设置连接字符串,但是我找不到宗地的任何示例
浏览 0
提问于2013-10-24
得票数 0
1
回答
用火花变换
红
移
表
、
、
、
、
我试图在当前
红
移
表的基础上创建一个
红
移
表,我有一个脚本执行以下步骤: 将
红
移
表按块加载到熊猫数据中,以避免每次夹子中的内存错误,我对数据进行纠结,并将CSV文件输出到S3Run S3 Copy命令中,将文件移动到我发现有一个包调用火花红
移
由Databrick,但我发现它没有维护很长一段时间,似乎不再工作。我试图将数据从s3中卸载,但由于我的角色,我没有权限这样做。因此,目前我正在尝试的方法是
使用
AWS EMR &
Pyspark</em
浏览 1
提问于2021-05-06
得票数 0
1
回答
将大数据从vertica迁移到
红
移
的最佳方法是什么?
、
、
那么,将数据从vertica迁移到
红
移
的最快方法是什么? 有什么更好的方法吗?
浏览 3
提问于2013-10-03
得票数 1
回答已采纳
4
回答
是否可以
使用
数据库迁移服务(DMS)将数据移动到Redshift中?
、
、
、
我有我的数据在MySQL数据库中,并希望将其移动到
红
移
。我可以
使用
数据库迁移服务(DMS)来完成此任务吗?还有别的选择吗?我是否应该简单地考虑
使用
Amazon Redshift Spectrum而不移动数据?
浏览 26
提问于2020-06-15
得票数 1
1
回答
亚马逊
红
移
支持MVCC吗?
、
根据文档的说法,亚马逊
红
移
是从PostgreSQL 8衍生出来的。MVCC的优势是:Amazon
使用
的专用数据存储模式和查询执行引擎与PostgreSQL实现完全不同。 此外,与基于行存储的Postgr
浏览 0
提问于2017-04-05
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
遇见YI算法之初识Pyspark(二)
PySpark调优
(新版完结无密)Python 分布式爬虫与 JS 逆向进阶实战
pyspark 安装
机器学习实践:如何将Spark与Python结合?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券