在Python中，我很少有非常非常简单的函数，我想在Spark中作为UDF使用它们。从Python注册和使用它们似乎很容易。但是，我想在使用JavaSQLContext或SQLContext时使用Java/Scala中的它们。我注意到在spark 1.2.1中有函数，但我不清楚如何使用它，也不清楚是否应该.我认为在1.3.0中可能会更容易，但我只限于1.2.1。
编辑:由于不再从事这方面的
浏览 7提问于2015-03-19得票数 9
1回答
我必须使用pyspark在EMR实例上运行python脚本来查询dynamoDB。我可以通过查询pyspark上的dynamodb来做到这一点，它是通过在下面的command中包含jars来执行的。` 我运行了下面的python3脚本，使用pyspark python模块查询数据。import time
fro
浏览 16提问于2019-02-08得票数 2
回答已采纳
嗨，我是pyspark的新手。我没有用pyspark编写代码，所以我需要帮助来使用python在pyspark上运行sql查询。sql查
浏览 23提问于2019-11-12得票数 1
我正在创建中的笔记本以运行一些查询，它通过使用标记%sql支持python笔记本中的标准sql查询，我的问题是，当查询运行在它的后面，databricks实际上是否将sql查询转换为PySpark？
浏览 4提问于2020-08-21得票数 0
回答已采纳
我正在使用YARN设置Spark集群，其中Jupyterhub在主节点上运行。我已经使用conda在所有节点上安装了python2和3，我希望用户能够指定他们使用哪个版本的python执行代码。这是必要的，因为Python UDF中使用的一些库还不支持Python 3。/bin/python"} 指向正确的pyt
浏览 14提问于2019-04-13得票数 0
回答已采纳
我在PySpark中使用PySpark( Python )，下面是我的代码的开头(注意，我实际上是通过与PySpark交互的shell来运行这一切的)。，它是Apache HBase的一个SQL“前端”。下面是SQL查询的Python代码：curs.execute('select "username",co
浏览 5提问于2014-11-13得票数 3
回答已采纳
我正在使用pyspark对一个parquet文件进行一些sql查询。我需要使用多个内核，但我没有找到任何有用的信息。这是我正在使用的代码。正如您所看到的，我将核心数设置为3，但是当我运行脚本时，我可以在htop上看到只有1个核心在使用。我该如何解决这个问题呢？from pyspark.sql import SparkSession
from <e
浏览 67提问于2019-12-18得票数 0
当我尝试在Sagemaker Studio中使用PySpark运行Sagemaker时，提供了一些示例 import os
from sagemaker import get_execution_role
import/site-packages/
浏览 20提问于2021-01-18得票数 2
回答已采纳
我已经编写了一个SQL查询，其中包含一个子查询。这是一个正确的mySQL查询，但没有在Pyspark上实现 from pyspark import SparkContext, SparkConffrom pyspark.
浏览 168提问于2020-12-18得票数 0
回答已采纳
有没有可能使用PySpark作为Django的运行时，而不是常规的python环境？finds
浏览 1提问于2019-07-10得票数 0
我正在运行snappydata v0.9的docker镜像。从该映像内部，我可以对数据库运行查询。但是，我不能从我的机器上的第二台服务器上执行此操作。我将python文件从snappydata复制到安装的pyspark中(在导入中编辑snappysession到SnappySession )，并且(基于对的回答)，我编写了以下脚本(这是一些货物崇拜编程，因为我是从docker镜像中的python代码复制的--欢迎提出改进建议)：
im
浏览 0提问于2017-08-24得票数 0
1回答
我已经有一个从python到SQL server的ODBC连接，我希望使用pyspark来运行查询，如何使用我当前的连接。
谢谢
浏览 11提问于2019-11-21得票数 1
我从RDS运行了一个查询，并使用Pyspark将查询转换为DataFrame。/site-packages/pyspark/sql/session.py", line 748, in createDataFrame
rdd, schema = self.anaconda3/lib/python3.6/site-packages/pyspark</e
浏览 10提问于2022-11-18得票数 0
在Analytics中，我希望将我的SQL查询与我的PySpark记事本分开。可以吗？，以及将SQL脚本加载到变量中的python代码是什么?
浏览 1提问于2022-11-09得票数 0
2回答
我试着用Python连接到蜂巢。有人有使用pyHive连接kerberos的示例吗？
谢谢你的帮助。
浏览 1提问于2018-07-04得票数 1
回答已采纳
我试图从Python中查询snappydata，一些答案在StackOverflow中说Python不能连接到远程spark集群。谁能帮助我如何连接到snappydata集群，并让一个简单的查询工作？我正在尝试的代码- from pyspark.sql.snappy import SnappySession
snappy = SnappySession.builder.appName("test")运行上面的代码。
浏览 19提问于2020-07-18得票数 0
1回答
我试图使用火花会话来查询数据，使用蜂巢转移。这些表用胶水编成目录。我可以直接使用s3读取spark.read.parquet拼板文件。但是，我想使用spark.sql方法从EMR查询目录。当我运行线路时：我遇到了这样的错误：
'org.apache.hadoop.hive.ql.metadata.Hiv
浏览 9提问于2020-01-24得票数 0
我无法从Pyspark运行配置单元查询。/pyspark/sql/context.py", line 358, in sql File "/usr/local/spark-2.4.0/python/pyspark/sql
浏览 202提问于2020-04-07得票数 2
我正试图在Spark中执行一个查询列表，但如果查询不能正确运行，Spark会抛给我以下错误: AnalysisException："ALTER TABLE CHANGE COLUMN不支持更改...这是我的代码的一部分(我在Databricks上使用python和Spark SQL )： for index, row in df_tables.iterrows():
query = row["query&quo
浏览 30提问于2019-10-05得票数 11
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
