首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用数据库访问AWS公共数据集?

如何使用数据库访问AWS公共数据集?
EN

Stack Overflow用户
提问于 2021-04-02 05:34:54
回答 1查看 102关注 0票数 0

对于我的一个类,我必须分析一个“大数据”数据集。我在AWS开放数据注册表上发现了以下数据集,这似乎很有趣:

https://registry.opendata.aws/openaq/

我如何创建连接并将此数据集加载到Databricks?我试过以下几种方法:

代码语言:javascript
复制
df = spark.read.format("text").load("s3://openaq-fetches/")

但是,我收到以下错误:

代码语言:javascript
复制
java.lang.AssertionError: assertion failed: Conflicting directory structures detected. Suspicious paths:

而且,这个数据集似乎有多个文件夹。如何访问Databricks中的特定文件夹,如果可能的话,我是否可以专注于特定的时间范围?比如说,从2016年到2020年?

最后,我希望执行各种SQL查询,以便分析数据集,并可能还创建一些可视化。提前谢谢你。

EN

Stack Overflow用户

回答已采纳

发布于 2021-04-02 10:51:13

如果您使用浏览水桶,您将看到有不同格式的多个数据集需要不同的访问方法。因此,您需要指向特定的文件夹(或者它的子文件夹来加载数据)。类似地,要加载daily数据集,需要使用CSV格式:

代码语言:javascript
复制
df = spark.read.format("csv").option("inferSchema", "true")\
   .option("header", "false").load("s3://openaq-fetches/daily/")

例如,要只加载数据的子集,可以使用路径滤波器。见关于加载数据的火花文档

从性能角度看,inferSchema并不是最优的,所以在阅读时最好是显式地使用提供模式

票数 1
EN
查看全部 1 条回答
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66914898

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档