以字符串形式存储的Athena查询JSON字段

文章/答案/技术大牛

发布

1回答

sql、amazon-web-services、amazon-athena

我有一张雅典娜桌子，里面有一个字段 fields (string) 数据看起来像这样 {"field_1":"value_1","field_2":"value_2"} {"field_1":"valuefield_1" as field_1 from table_name where field_1 = "something" 我已经尝试了很多方法，但是只得到了一个错误或者field_1的值为空，任何帮助都将不胜感激

浏览 22提问于2020-10-22得票数 0

回答已采纳

1回答

Amazon Athena-使用存储为字符串的数字查询列

amazon-web-services、amazon-athena

我有一个保险数据集，其中包括每个县的注册人数。但是，注册数量是以字符串形式存储的。如何查询“查找参保人数超过50人的计划”之类的数据。不幸的是，50作为字符串存储在数据集中，因此我需要了解如何使用athena运行查询。有人能帮帮忙吗？

浏览 10提问于2019-11-28得票数 6

1回答

雅典娜(Trino SQL)使用字段(点符号)解析JSON文档

json、format、amazon-athena、json-deserialization、trino

Athena (Trino SQL)使用字段(点符号)解析JSON文档(雅典娜中称为document 1的表列)如果没有，是否有一种解析“文本”并获得值1中的字符串的优雅方法？请看下面我的评论。我不能更改j

浏览 10提问于2021-09-28得票数 0

回答已采纳

2回答

AWS雅典娜输出result.json到s3 -创建表作为/插入到选择？

json、amazon-web-services、amazon-athena、aws-glue

是否有可能将AWS雅典娜查询的结果写入results.json桶中的s3？我的第一个想法是使用INSERT INTO SELECT ID, COUNT(*) ...或INSERT OVERWRITE，但和似乎不支持这一点。用AWS雅典娜进行新数据的CREATE TABLE有可能吗？对我来说，覆盖整个<em

浏览 2提问于2018-01-05得票数 0

1回答

pyspark在输出中写入许多较小的文件

amazon-s3、pyspark、amazon-athena

我已经在athena中创建了一个表，它将用于查询此数据。 df.write

浏览 5提问于2019-12-16得票数 2

3回答

(AWS)雅典娜:查询结果似乎太短

amazon-web-services、amazon-s3、amazon-athena、aws-glue

我的雅典娜查询结果似乎太短了。试图找出原因？胶水目录(118.6 in大小)。数据:以CSV和JSON两种格式存储在S3中。Athena查询:当我查询整个表的数据时，每次查询只得到40K个结果，对于一个月的数据，该查询平均应该有1.21亿条记录。 Athena Cap是否查询结果数据？这是服务限制吗(文档并没有建议是这样的</e

浏览 0提问于2018-01-19得票数 5

2回答

如何在Redis和Jedis中使用多个键？次级指标

java、redis、jedis

redis是否支持字符串数据类型的辅助索引？我想知道如何用redis和第二天键来存储数据。例如，我希望以'id:<some_string>‘的形式存储键值的实体，并将它的有效负载存储为压缩的json字符串。但有时我需要用json中的另一个值搜索有效负载，这也可能是唯一的。比如，sql<e

浏览 5提问于2020-07-14得票数 2

回答已采纳

1回答

按字符串的一部分对外部表进行红移

amazon-redshift、partitioning、external-tables

将其添加到Redshift中，我使用以下命令：database 'my-catalog-db' 我的表foo有45个字段，其中一个是以字符串形式存储的时间戳。我希望仅按字符串的日期部分对表中

浏览 19提问于2021-02-19得票数 0

2回答

当将字符串赋值给变量时，无法转义转义引号

python、python-3.x

要运行的命令是：我可以用python3打印它，如下所示： >>> print("papermill athena-py/params_to_dict.ipynb athena

浏览 0提问于2019-05-29得票数 0

回答已采纳

1回答

如何用ODBC连接雅典娜和Power BI

amazon-s3、powerbi、amazon-athena

我增加了适当的水桶政策。"athena:GetNamespace", "athena:GetQueryExecution"athena:GetTable", "athe

浏览 1提问于2019-11-14得票数 1

回答已采纳

1回答

在Athena/Quicksight中处理数组的高性能方法

amazon-athena、amazon-quicksight

我目前有一个很大的json数据集，我想导入到Amazon Athena中，以便在Amazon Quicksight中可视化。在每个json中，有两个字段:一个是逗号分隔的In字符串(orderlist)，另一个是字符串数组(locations)。因为Quicksight不支持数组搜索，所以我现在求助于创建一个跨两个字符串数组生成交叉联接的视图： select id, try_CAST(orderid AS bigi

浏览 21提问于2020-10-02得票数 0

1回答

AWS Athena* -数据类型的最佳实践*

amazon-web-services、amazon-athena

我计划在Amazon 3/Athena中使用数百千兆字节的大数据集，我向有经验的从业者提出一个关于数据存储的最佳实践的问题(按成本和性能计算)。我的行数据集包含大约40列，包括数字、日期和类似字符串的项。我的查询将非常频繁地执行一些算术操作和分组。是以字符串的形式存储所有数据的好主意吗？这种方法<e

浏览 0提问于2018-03-08得票数 1

回答已采纳

1回答

使用nodejs mongodb中存储为Int64的字段进行查询

node.js、mongodb、int64

我有一个将userID字段存储为Int64的集合。当我在这个集合上使用.find({})时，userID字段以字符串的形式返回。我可以确认我传递给查询的值是否存在于集合中(但它是作为字符串传递的)。我知道javascript不能处理Int64，但是如果字段以字符串的形式返回，有没有办法用<e

浏览 0提问于2018-04-03得票数 1

1回答

连接JSON表输出中的两个字段

javascript、json、sql-server

我正在尝试从API中提取详细信息，并将其加载到SQL Server中的表中。当我通过JSON Table创建时，我得到了以下格式的输出。我的API在一天内拉取大约5000行。Athena Opening Statement with Language Selection","Bot","Athena","False","","","False",&quo

浏览 8提问于2020-05-18得票数 0

1回答

如何在MySQL/MariaDB中将LONGTEXT字段作为JSON返回

mysql、node.js、mariadb

我有一个products表，其中我将产品图像路径存储为JSON字符串(MariaDB中的LONGTEXT类型)，但是，当我使用Node.js查询数据库中的产品列表并将数据发送到客户端时，它将图像路径作为字符串而不是数组对象接收问:有没有办法告诉MySQL/MariaDB以JSON的形式返回LONGTEXT字段，或者我需要在Node.js中创建一个助手函数来完成这项工作？

浏览 235提问于2020-01-27得票数 4

回答已采纳

3回答

JSON ISO 8601时间字符串到时间格式AWS-Glue

aws-glue

我有JSON格式的数据，在它的示例"2017-06-29T00:00:00-0400“中具有ISO 8601时间戳格式，并且我试图使用AWS Glue为Athena/Quicksight使用进行转换；然而，我尝试过的每个转换组合仍然将目标字段视为字符串(在爬行目标json文件之后)。在尝试查询雅典娜中的表时，我还会收到一个HIVE_BAD_DATA错误解析字段。

浏览 0提问于2019-01-15得票数 2

回答已采纳

1回答

处理亚马逊网络服务S3文件的体系结构

amazon-web-services、amazon-s3、aws-lambda、amazon-sqs、amazon-athena

我正在做一个POC，在那里我们有数百万个现有的S3压缩json文件(未压缩的3+ MB，带有嵌套的对象和数组)，而且每隔几分钟就会添加更多。我们需要在未压缩的数据(每个文件)上执行计算，并将其存储到DB表中，然后我们可以在该表中执行一些列操作。SQS键名称创建了一个DB表，因此我可以查询该表并使用AWS SDK Node.js包将消息发送到S3主队列。对于新添加/更新的文件，S3事件通知将处理它。我认为上面的架构在我的情况下可以工作，但有没

浏览 5提问于2021-11-28得票数 0

2回答

AWS Step函数和Athena* :我可以从inputpath配置查询字符串吗？*

amazon-web-services、aws-step-functions、athena

在我的step函数中，我想执行雅典娜查询。我能够定义一个步骤并成功地执行查询。但是，我想将一些参数作为输入传递，并在查询字符串中使用它们。例如。比方说，我的查询字符串是：我希望能够将该年作为step函数的输入jso

浏览 12提问于2022-01-13得票数 3

回答已采纳

1回答

在混合数据S3存储桶上使用雅典娜搜索

json、amazon-web-services、amazon-s3、amazon-athena

问题是:有谁知道如何使用雅典娜在不仅包含JSON的S3存储桶上查询JSON数据？我一直在尝试在一个存储桶中创建一个雅典娜搜索，其中的对象如下所示 S3Bucket│ ├── ExternalServiceID-1 │ │ ├── file-that-is-JSON我要做的雅典娜搜索是在一个试图投影files-that-is-JSON的一些简单属性的</e

浏览 21提问于2021-07-10得票数 0

1回答

AWS Lambda查询Athena并选择结果文件的名称

python、amazon-s3、aws-lambda、boto3、amazon-athena

我正在做一个Python脚本，它在AWS Lambda中运行对AWS Athena的查询。结果以csv和元数据文件的形式发送到我的s3存储桶中。下面是脚本： client = boto3.client('athena') QueryResponse = client.start_query_executionQueryExec

浏览 20提问于2021-06-08得票数 0

回答已采纳

点击加载更多