Redshift -使用Python UDF从JSON中提取根密钥

文章/答案/技术大牛

发布

1回答

python、json、amazon-redshift

在Redshift中，如果我们可以使用json_extract_path_text函数来提取JSON。但有时，如果我们不知道列中有多少个键，那么就很难知道键的列表。我需要一个Scalar或Python UDF来让这变得更容易。

浏览 15提问于2019-08-25得票数 0

回答已采纳

1回答

从Redshift调用Lambda UDF时出错

amazon-web-services、amazon-redshift

当从我的Redshift存储过程中调用python lambda UDF时，我得到了以下错误。你知道会出什么问题吗？ret = dict() ret_json = json.dumps(ret)上面的lambda函数通过名称send_email_lambda与Redshift中的一个外部函数相

浏览 22提问于2021-06-09得票数 0

1回答

我正在尝试实现Redshift UDF。根据docs：，应该是简单明了的。但是，当我尝试执行这个示例时，Redshift返回ERROR: User Defined Function is not supported.我是作为集群根用户运行的，为了更好的衡量，我允许自己使用GRANT USAGE ON LANGUAGE plpythonu TO USER_NAME_HERE;的python语言。为了完整起见，下面是我从文档中运行的示例： create

浏览 3提问于2015-09-16得票数 0

回答已采纳

2回答

导入红移UDF中的用户定义库

python、amazon-redshift

在这里，我试图在用户定义的python函数中导入一个库[CREATE OR REPLACE LIBRARY nltk LANGUAGE plpythonu FROM's3://nltk.zip' CREDENTIALS 'aws_access_key_id=*****;aws_secret_access_key=****';] token = nltk.word_tokenize(sentence)

浏览 7提问于2016-03-07得票数 4

2回答

您能在Redshift中从python返回多个值吗？

python、json、amazon-web-services、amazon-redshift、user-defined-functions

我们偶尔使用JSONB来存储元素。这将作为字符串传递给Redshift，然后使用UDF进行解析。对于审计报告，我想在一列中显示JSON的一部分，在另一列中显示不同的部分。与其在每一行中调用两个UDF，还能调用一个返回两个值的UDF吗？作为一个玩具示例，考虑一个事务性数据库，在该数据库中，对于每一行，我们都存储客户用于支付的方法。有些客户可以用多笔钱支付(比如花上一张礼品卡，然后支付现金的差额)，因

浏览 5提问于2017-09-06得票数 1

回答已采纳

1回答

红移中的JSON专栏: jsonb_each的替代方案？

json、amazon-redshift

我正在将数据库表从postgres移动到Redshift，以下查询不再有效： select dr.id, dr.opportunity_id, dr.roi -> 'data' ->> 'campaignNameas platform_ID FROM platform_db.dyzio_rois dr, jsonb_each(roi -> 'data' -> 'reportData') as users 我如何使用Redshift</

浏览 23提问于2021-01-18得票数 0

1回答

Levenshtein distance Python* UDF作为SQL join中的模糊匹配代理*

python、sql、statistics、amazon-redshift、levenshtein-distance

我偶然看到一个论坛帖子，它描述了一种在Redshift中创建Python UDF的方法：。有关Redshift中Python UDF的更多信息：我检查了该函数(如select public.levenshtein('walk', 'cake'))的许多输出--它工作得很好。我希望在t1.first_name+last_name = t2.first_name+last_name上的两个表之间的joins中<em

浏览 7提问于2018-02-09得票数 0

回答已采纳

1回答

redshift中的python udf -支持嵌套udf

python-3.x、amazon-redshift、user-defined-functions

我正在尝试在redshift中实现一个嵌套的udf。select from 但它说嵌套的udf不受支持我尝试使用答案中提到的python库方法，结果如下所示！(self): current_value = json.loads(self.curre

浏览 1提问于2018-10-02得票数 0

2回答

如何使用Redshift提取JSON数组中的所有元素？

mysql、arrays、json、path、amazon-redshift

我想从一个包含更多JSON的JSON中提取标题为“title 2”的所有元素。我有在MySQL上工作的代码，但我无法将它转换为Redshift。JSON结构：{"master-title": [{"title": "a", "title2": "b"},{"title": "c", "title2: "d", "title3&q

浏览 1提问于2019-04-16得票数 1

回答已采纳

1回答

从Python中的JSON字符串提取数据时出错(使用Redshift)

python、json、amazon-redshift

我试图使用Python中的SQL从JSON字符串中提取数据。下面是我正在尝试的示例查询 CASE WHEN (setup::JSONsales a join details b on a.sale_id = b.id and a.name = {}""

浏览 1提问于2018-10-18得票数 0

回答已采纳

0回答

如何在Amazon Redshift上更新Python库？

python、user-defined-functions、amazon-redshift

根据Redshift的的说法，集群中已经包含了一些Python库。但是，我想使用更高版本的scipy作为例子。我尝试创建或替换中描述的库，但发生的情况是，我的scipy-0.17库与默认的scipy-0.12并行安装。因此，当在udf中调用scipy时(从scipy import...)加载默认版本(0.12)，而不是已安装版本(0.17)。我还尝试使用自定义名称加载scipy-0.17，但这只是一个标签，不能使用它

浏览 1提问于2016-07-11得票数 1

1回答

SQL计数范围内的每个数字的总数(编辑:通过一个UDF)

python、sql、postgresql、select、amazon-redshift

例如，如果我们处理Tim从第1章到第3章的条目，那么Blue的第1章、2和3章应该增加它们各自的计数器。目前看来，这是不可能通过用户定义的函数(UDF)，因为他们也不支持。令人鼓舞的一点是，RedShift产品经理证实，他们计划在2015年9月之前支持符合postgresql的UDF。<<手指祈祷>>编辑(2015年9月11日)：的UDF终于在RedShift

浏览 2提问于2015-07-25得票数 1

1回答

使用udf以编程方式从dataframe中选择列

python、pyspark、apache-spark-sql

我正在尝试使用包含UDF的配置文件提取数据帧的列。如果我在客户机上将选择列定义为列表，它就可以工作，但是如果我从配置文件导入列表，则列列表的类型为string。有没有别的办法。使用pyspark打开火花壳。*******************************************************************Using Python version并使用column函数。在colSelList中</em

浏览 8提问于2019-06-18得票数 1

1回答

S3复制命令给出了错误+如何从复制命令中删除密钥

python、amazon-s3、psycopg2、amazon-redshift、boto3

为什么我的S3复制命令redshift会产生这个错误？我还有第二个问题:如何从copy命令中删除键。我正在使用python，对于与S3的关系，我使用了Boto3和AWS密钥环来加密我的密钥，所以我不必将密钥放在代码中现在，我想对copy命令(redshift)执行同样的操作。

浏览 2提问于2015-12-15得票数 1

回答已采纳

1回答

用于频繁更改的表结构的ETL

python、amazon-redshift、etl、emr、amazon-emr

我们是一个BI团队，我们只提取大约200列，这是我们的报告所需要的。但是，当启动新业务/需要新的分析时，有时用户会接近我们，并要求我们从源中提取额外的列。我们有一个映射表，它映射表中的列和Source表中的列。利用这个映射表，我们从源中提取数据。最近，我们已经达到了我们表的400列限制，我们将无法装载任何新的列。

浏览 4提问于2018-01-15得票数 0

3回答

Redshift -从键值对中提取值的SQL脚本

json、regex、amazon-redshift

我有一个包含JSON数据的列，如下所示。我正在尝试提取与列中的每个密钥对对应的值。有人能建议我如何使用SQL吗？, "type": "identifier", "regex": null}}]预期输出：id2 : Name我正在使用Redshift。

浏览 0提问于2018-10-17得票数 0

1回答

如何检查点是否位于存储在红移表中的数据中的多边形中？

r、geospatial、polygon、amazon-redshift、shapes

我试图检查一个点，即组合是否位于来自形状文件(.shp)的多边形中。我试图检查的点是红移表的一部分，其中有3列，即经度和纬度以及ID。Redshift Table 1 | 108.21 | 21. 6 | 对于一个小的数据集，我已经能够进行检查并创建一个标志，它通过将数据和形状文件导入R，然后通过执行检查来告诉多边形中是否存在一个点。

浏览 0提问于2018-02-01得票数 0

3回答

如何在MapType中过滤PySpark中的密钥？

apache-spark、pyspark、apache-spark-sql

给定如下所示的DataFrame，是否可以在保持模式完整的同时过滤出PySpark中列集合的一些键(MapType(StringType，StringType，True))？

浏览 3提问于2017-06-22得票数 4

回答已采纳

1回答

使用自定义Python库ua-解析器的

python-2.7、amazon-web-services、pip、amazon-redshift、ua-parser

我想使用Python库在Redshift中创建UDF函数，特别是ua解析器库。本文描述了在Redshift上使用自定义Python库的过程，我使用以下命令创建了lib并将其上传到S3 ./installPipModuleAsRedshift

浏览 5提问于2016-08-03得票数 2

回答已采纳

3回答

结构化流-将json字段分解为动态列？

apache-spark、pyspark、spark-structured-streaming

我从卡夫卡的消息来源得到了这个数据。我很好地理解了如何在some批处理中进行转换，通过使用一些映射和约简来获得一组JSON密钥，然后使用withColumns构造新的数据。我发现可以使用UDF将字符串解析为JSON字段from pyspark.sql.functions import udf<

浏览 0提问于2018-01-31得票数 1

点击加载更多