腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何在python中解密密码
python
、
python-3.x
、
password-protection
、
password-encryption
、
jceks
我的代码是使用
pyspark
连接
到
sql
server。对于这个
连接
,我得到了jceks的加密密码。如何解密密码并用于从
sql
server加载
表
。请提个建议。import
pyspark
from
pyspark
_llap import HiveWarehouseSessionfrom
pyspark</e
浏览 14
提问于2019-08-06
得票数 4
回答已采纳
1
回答
如何从synapse数据库
表
中读取
表
pyspark
、
apache-spark-sql
、
azure-synapse
我的一位同事使用azure链接服务
连接
了即时数据库。现在,我已经编写了一个测试框架,用于比较原始数据和数据湖数据。但我不明白如何使用
Pyspark
来读取这些
表
。这是我的链接服务数据结构。
浏览 5
提问于2022-08-26
得票数 0
1
回答
PySpark
SQL
连接
表
join
、
pyspark
、
apache-spark-sql
我必须提供使用tip和user
表
从Yelp数据集提供最多提示的前10名用户的姓名。,并将其与user
表
中的name
连接
起来。GROUP BY user_id LEFT JOIN user""": org.apach
浏览 29
提问于2021-11-17
得票数 0
回答已采纳
2
回答
使用最新spark版本时如何设置spark.
sql
.shuffle.partitions
shuffle
、
pyspark-sql
我想在
pyspark
代码中重置spark.
sql
.shuffle.partitions配置,因为我需要
连接
两个大
表
。/usr/bin/pythonimport sysfrom
pyspark
.context import SparkContextfrom
pyspark
.
sql
.session import SparkSession sc =
浏览 6
提问于2017-10-01
得票数 4
回答已采纳
1
回答
基于dashbord可见性的
PySpark
结构化流查询
apache-spark
、
pyspark
、
snappydata
我编写了一些
连接
到kafka broker的示例代码,从主题读取数据并将其放入snappydata
表
。from
pyspark
.conf import SparkConffrom
pyspark
.
sql
import SQLContext, Row, SparkSessionf
浏览 1
提问于2020-11-30
得票数 0
回答已采纳
1
回答
表
或视图未被插入到mysql中,而该
表
或视图存在于
Pyspark
中。
python
、
mysql
、
apache-spark
、
pyspark
我试图使用
Pyspark
连接
插入到现有的Mysql
表
中,但是我得到了以下错误 File "/usr/hdp/current/spark2-client/python/
pyspark
/
sql
/context.py", line 384, in
sql
retur
浏览 0
提问于2020-07-17
得票数 0
回答已采纳
2
回答
如何在
pyspark
sql
的大
表
中选择除2列以外的所有列?
python
、
sql
、
apache-spark
、
pyspark
、
hive
在
连接
两个
表
时,我想从一个在databricks上的
pyspark
sql
上有许多列的大
表
中选择除其中两列之外的所有列。我的
pyspark
sql
: set hive.support.quoted.identifiers=none; select a.*, '?!
浏览 5
提问于2020-07-28
得票数 0
1
回答
PySpark
动态
连接
条件
join
、
dynamic
、
pyspark
、
conditional-statements
我在存储主键,因为每个
表
的主键数可能会发生变化。我想根据pk_list中的列
连接
两个数据帧。 pk_list=['col1',col2', ..../yarn/usercache/root/appcache/application_1544185829274_0001/container_1544185829274_0001_01_000001/
pyspark
.zip/
pyspark
/
sql</e
浏览 0
提问于2018-12-07
得票数 2
1
回答
如何使用Spark
SQL
列出数据库中的所有
表
?
apache-spark
、
pyspark
、
apache-spark-sql
我有一个到外部数据库的SparkSQL
连接
: .builder \ .getOrCreate() .read.format("jdbc") \ .options(dbtable=
浏览 2
提问于2017-03-19
得票数 11
回答已采纳
2
回答
如何为
pyspark
.pandas使用ODBC
连接
python
、
pandas
、
apache-spark
、
pyspark
、
azure-sql-database
在下面的python代码中,我可以使用ODBC
连接
成功地
连接
到MS Azure
SQL
Db,并且可以使用熊猫的dataframe方法将数据加载到Azure
表
中。但是,当我使用
pyspark
.pandas时,to_
sql
(...)方法会失败,说明不支持这样的方法。我知道火场上的熊猫API已经达到了97%的覆盖率。问题:在下面的代码示例中,如何使用
pyspark
.pandas的ODBC
连接
连接
到Azure并将数据加载到
SQL</
浏览 4
提问于2022-04-22
得票数 0
1
回答
数据库Python优化
sql
、
optimization
、
pyspark
、
databricks
、
azure-databricks
我需要您的帮助,我在python中有一个简单的代码,它列出了数据库中所有数据库中的所有字段,有将近90个
表
,我想将结果保存在一个txt或csv文件中。# table containing all name of database in databricks showTables="""show tables in {};""".fo
浏览 8
提问于2022-01-06
得票数 0
1
回答
我怎样才能使我的吡火花数据库可以直接显示在窗口上呢?
jdbc
、
pyspark
、
jupyter-notebook
、
beeline
、
spark-thriftserver
我正在使用windows,我正在尝试启动一个本地节俭服务器,并通过直线
连接
到我在应用程序中创建的一个数据库。thrift.port=10000 --master spark://n.n.n.n:7077 --total-executor-cores 4| default| testTable| false| spark.
sql<
浏览 2
提问于2019-01-11
得票数 1
回答已采纳
1
回答
我必须遵守
pyspark
sql
中的命令顺序吗?
python
、
pyspark-sql
我正在学习
pyspark
sql
,我不确定函数的顺序是否必须是下一个?year','value'])\我习惯了排序是select from where,etc...Here的纯
sql
浏览 2
提问于2019-09-18
得票数 0
4
回答
pyspark
Cassandra
连接
器
python-2.7
、
cassandra
、
pyspark
、
connector
我必须安装
pyspark
-cassandra-connector,它在中可用,但我遇到了巨大的问题和错误,并且没有关于python的spark的支持文档,这称为
pyspark
!我想知道
pyspark
-cassandra-connector包是失效了还是别的什么?另外,我需要清楚的git克隆
pyspark
- cassandra -connector包的一步一步的教程,安装和导入到
pyspark
shell中,并与cassandra成功
连接
并进行事务处理,通过
pyspark
浏览 2
提问于2017-04-19
得票数 0
2
回答
如何在
pyspark
的不同模块中使用相同的
连接
数据帧用法
python
、
dataframe
、
pyspark
、
hive
、
pyspark-dataframes
我们有从多个源
表
读取数据并根据业务规则
连接
和应用映射的场景。在某些情况下,从几个
表
中读取的数据可以用于多个目标加载。那么,为了避免在运行不同的模块时多次读取相同的数据,有什么选择可以在不同的
pyspark
模块中使用相同的dataframe输出吗?df1 = spark.
sql
(select * from table1) df_out = df1.join(df2, ['customer_id'
浏览 0
提问于2020-11-07
得票数 0
1
回答
Azure Synapse分析笔记本中数字列名的
PySpark
缺少列名错误
pyspark
、
azure-synapse
在使用Azure Synapse
SQL
专用池作为数据源创建dataframe时,我遇到了这个问题。某些列具有数字列名,如"240“。我使用了scala中的synapsesql
连接
器,然后使用spark.
sql
抓取数据帧到
pyspark
数据帧。即使我能够毫无问题地打印出数据帧的模式,尝试选择任何具有数字名称的列也会产生错误。%%sparkoption(Constants.SERVER, "db.
sql
.azuresynapse.net&quo
浏览 25
提问于2021-09-06
得票数 1
2
回答
PySpark
Mongodb / java.lang.NoClassDefFoundError: org/apache/spark/
sql
/DataFrame
mongodb
、
pyspark
、
connector
、
databricks
我正在尝试用这个(运行在Databricks上)将
pyspark
连接
到MongoDB:from
pyspark
.mllib.recommendationimport ALSdf = spark.read.format("com.mongodb.spark.
sql
.DefaultSource"
浏览 2
提问于2017-04-04
得票数 1
回答已采纳
1
回答
在EMR上用
PySpark
连接
不同胶目录的
表
pyspark
、
amazon-emr
、
aws-glue
为了在EMR上从
PySpark
查询Glue目录,我在集群配置中设置了参数hive.metastore.glue.catalogid。 可以从
连接
不同Glue目录的
表
(在不同的AWS帐户上)吗?我试图从一个AWS租户到另一个AWS租户使用雅典娜创建一个视图,但显然
PySpark
无法查询
SQL
。
浏览 4
提问于2021-11-27
得票数 4
回答已采纳
1
回答
如何使用
Pyspark
从xml文件创建子数据帧?
pyspark
我在
pyspark
中有所有这些支持库,并且我能够为parent创建数据帧- def xmlReader(root, row, filename): df = spark.read.format(
浏览 11
提问于2019-03-15
得票数 0
1
回答
将
pyspark
连接
到MS-
SQL
数据库时出现问题
python
、
pyspark
我正在尝试使用
pyspark
连接
到MS-
SQL
数据库: "jdbcDF = spark.read.format("jdbc") \: java.
sql
.SQLException
浏览 21
提问于2019-03-08
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PHP连接sql server
SQL Server基础SQL脚本之内外连接、交叉连接;函数、子查询
SQL避免全表扫描
SQL Server基础SQL脚本之分区表、分区方案
Intellij IDEA 连接 SQL server 2012
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券