1回答
我得到了这样的要求:在PySpark中，我需要从s3中的文件中获取最新的日期。"s3://bucketname/folderpath/2021/10/10/
浏览 1提问于2021-11-15得票数 0
2回答
在s3目录s3://mybucket/my/directory/中有一些选项卡分隔的数据。现在，我要告诉pyspark，我想使用\t作为分隔符，只在下面这样的一个文件中读取：
from pyspark.sql import://mybucket/my&#
浏览 3提问于2017-07-17得票数 1
回答已采纳
2回答
如何在s3上分布式获取密钥列表
、、、、
我试图分发从s3获得6000万个密钥(文件名)列表的过程。
背景：--我正试图通过pyspark处理一个文件夹中的所有文件，大约6000万个。作为详细的，典型的sc.textFile('s3a://bucket/*')将将所有数据加载到驱动程序中，然后将其分发到集群。建议的方法是首先获取文
浏览 3提问于2016-12-30得票数 5
我正在尝试编写一个粘合(PySpark)作业，执行一些ETL，并最终将数据写入SQL Server中的一个表(在AWS Glue Catalog中定义)。在将记录写入SQL Server表时，可能有一些约束(例如:主键、外键、列类型)阻止某些记录(即“坏”记录)被写入到表中。发生这种情况时，Glue作业会抛出一个错误，并且作业会失败。相反，是否可以只写入“好”记录，并将违反SQL Server的“坏”记录返回到Glue作业(以便可以将它们上载到
浏览 9提问于2019-04-10得票数 0
我在S3 location s3://sample/input_data中有我所有的数据PySpark脚本非常简单。将dataframe保存为Parquet文件，在“追加”模式下使用写选项将其保存到S3 location s3://sample/output_data中
浏览 3提问于2021-11-17得票数 0
回答已采纳
我正在尝试通过Pycharm访问在S3桶中可用的parquet文件，使用Pyspark。我在Pycharm中配置了AWS工具包，并且在我的~/.aws/credentials中添加了访问密钥和安全密钥，但是我看到凭据没有被访问。这会引发错误“无法从链中的任何提供程序加载AWS凭据”。import os
import p
浏览 1提问于2020-09-04得票数 0
我正在使用本地窗口，并试图用python上的以下代码加载XML文件，我遇到了这个错误，有人知道如何解决它吗？990.s3.amazonaws.com/201611339349202661_public.xml")
1135 for temp_arg in temp_args:
C:\SPARK_HOME\spark-2.2.0-bin-hadoop2.7\py
浏览 87提问于2017-11-17得票数 4
回答已采纳
2回答
我正在尝试生成一个存储桶/文件夹中所有S3文件的列表。文件夹中通常有数百万个文件。我现在正在使用boto，它每分钟能够检索大约33k个文件，即使是一百万个文件，也需要半个小时。我也将这些文件加载到dataframe中，但生成并使用此列表作为跟踪正在处理的文件的一种方
浏览 106提问于2021-11-10得票数 0
回答已采纳
1回答
我有一份数据文件。它有几个列，大多为null。我使用下面的代码将它写到一个s3桶中。然后，我抓取s3桶以获取数据记录中的表模式。我发现当我抓取数据时，大部分为null的字段会被删除。我已经检查了输出的json，我发现有些记录有字段，而另一些则没有。有人知道问题可能是什么吗？我想包括这些字段，即使它们大部分是空的。import col
from pyspark.sql.functio
浏览 0提问于2019-08-29得票数 1
我希望使用glue将关系数据库中的多个表摄取到s3中。表的详细信息显示在配置文件中。配置文件是一个json文件。如果有一段代码可以遍历多个表名并将这些表摄取到s3中，这会很有帮助。glue脚本是用python (pyspark)编写的 下面是配置文件的示例： {"m
浏览 39提问于2021-10-29得票数 0
1回答
我需要捕获作为df.write.parquet("s3://bkt/folder", mode="append")命令的结果创建的拼图文件。 我在AWS EMR pyspark上运行这个。我可以使用awswrangler和wr.s3.to_parquet()来实现这一点，但这并不真正适合我的EMR spark用例。 有这样的功能吗？我想要s3:&#
浏览 16提问于2021-05-05得票数 0
1回答
我正试图使用pyspark在s3中保存数据。已经存在一堆来自上一轮火星雨的文件。在我当前的运行中，我试图用新的dataframe (它已经包含旧的数据)中的数据覆盖现有的文件。我正在使用由pyspark提供的“覆盖”模式来处理这个问题。这到底是怎么回事？在用新数据写入新<em
浏览 4提问于2022-03-18得票数 0
回答已采纳
1回答
我是Spark的新手，但我正在尽可能多地阅读。我有一个小项目，其中多个数据文件(在gzip中)将每小时连续地放在一个S3存储桶中。我需要能够打开/读取这些gzip文件，并在它们之间合并/聚合数据。因此，我需要以整体的方式来看待它们。如何使用Amazon AWS提供的哪些技术和工具？我是在S3文件夹中创建临时文件</em
浏览 0提问于2020-01-23得票数 0
我在pyspark中有所有这些支持库，并且我能够为parent创建数据帧- def xmlReader(root, row, filename):
return xref
df1 = xmlReader("BOBML","entityTransaction","s3generic
浏览 11提问于2019-03-15得票数 0
我试图从python操作符中检索值，并将其传递给"EMR创建作业“和"add运算符”。如何在spark_steps中传递这个值，我已经使用了task_instance来访问它，但是它没有工作，有人能告诉我如何访问它吗？://'+{{ task_instance.xcom_pull('get_aws_fields', key='return_value') }}+'-pyspark/hell/config.
浏览 8提问于2022-06-11得票数 0
回答已采纳
我在S3上有一个包含2000个文件的文件夹结构。我希望每周运行这个程序，从s3获取文件列表和文件夹，并填充数据库。如何从那里获取文件夹列表，然后将它们存储在mysql
浏览 1提问于2013-06-20得票数 0
我跟踪了，它建议使用：from pyspark.sql import SparkSessionconf = SparkConf()
conf.setPySpark，它可以从本地机器直接从S3获取数据。然而，我发现这个是关于使用s3a、s3n或s3的，而中有一条建议不要使用s3a。此外，我还发现AWS中的也不鼓励<e
浏览 7提问于2022-01-28得票数 2
回答已采纳
2回答
我正在将一个本地存储图片的PHP应用程序迁移到AWS S3，它不能在维护窗口下运行。
重构图片列表，使其能够显示本地和s3图片，后者将使用公共URL显示。添加数据库标志，以确定该图片是本地存储还是存储在S3
浏览 5提问于2017-02-21得票数 2
回答已采纳
因此，我对AWS、S3、pyspark和linux都很陌生。我不知道从哪里开始。以下是我的问题：aws s3 ls 's3://datastore/L2/parquet'然而，pyspark和SQLCon
浏览 1提问于2017-03-29得票数 1
回答已采纳
2回答
我很难理解如何将文件导入到具有pyspark的库中。HappyBirthday.py print('Happy Birthday!')sparky.pyfrom pyspark.sql import SparkSession
import HappyBirthdaysc = SparkContext(appName="k
浏览 0提问于2018-12-08得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
