腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
读取
Postgresql
时
,
Pyspark
找不到
表
、
、
、
运行我的
pyspark
脚本: from
pyspark
.sql import SparkSession spark = (SparkSession") .option("dbtable", "public.""Py4JJavaEr
浏览 23
提问于2021-07-16
得票数 0
回答已采纳
1
回答
PySpark
sqlContext阅读postgres9.6 NullPointerException
、
、
、
尝试使用
PySpark
从Postgres DB
读取
表
。/jars/
postgresql
-42.0.0.jar --jars /tmp/jars/
postgresql
-42.0.0.jar
pyspark
-shell' prop
浏览 6
提问于2017-03-09
得票数 3
回答已采纳
1
回答
如何在postgres驱动程序中使用nextval()?
、
、
、
、
在Postgres中,我有一个名为"mytable“的
表
,其中有两个列,id (bigint)和value (varchar(255))。
PySpark
应用程序接受一个dataframe并使用
postgresql
(
PostgreSQL
42.1.4.jar)将数据插入到"mytable“中。我可以看到,在
读取
数据()
时
可以调用Postgres方法,但我不确定如何调用Postgres函数(如nextval() )将数据写入Postgres。"dbtable&qu
浏览 0
提问于2018-01-21
得票数 2
回答已采纳
1
回答
Pyspark
:从
表
中
读取
数据并写入文件
、
、
、
我正在使用HDInsight spark集群来运行我的
Pyspark
代码。我尝试从postgres
表
中
读取
数据,并将其写入如下所示的文件中。from
pyspark
.sql.types import *from
pyspark
import SQLContextfrom
pyspark
.sql import Sp
浏览 40
提问于2020-04-24
得票数 0
回答已采纳
1
回答
胶水HiveContext access胶DataCatalog
、
、
、
我可以从glueContext的胶水作业中
读取
在glue数据目录中定义的
表
。但是,如果我想使用hiveContext
读取
完全相同的
表
,则会收到一条错误消息,说明它
找不到
该
表
。您知道在胶水作业配置中插入什么(编辑作业->作业参数-> "--conf“)以确保HiveContext能够在胶水数据目录中找到和访问
表
吗?我想执行以下代码:from
pyspark
.context import Spar
浏览 12
提问于2020-02-10
得票数 0
1
回答
如何使用
postgreSQL
表
插入csv文件内容?
、
、
、
我希望将数据从csv文件插入到
postgreSQL
表
中。url = '
postgresql
://myPath'; "user": "postgres", "password":"" df = DataFrameReader(sqlCo
浏览 0
提问于2018-09-19
得票数 1
回答已采纳
1
回答
从
postgresql
提取数据到
pyspark
dataframe
时
,我是否应该使用模式
、
、
、
我有一个从
postgresql
数据库中获取数据的
pyspark
任务。在
读取
数据
时
,我是否应该使用Schema来优化数据并加快提取速度?(据我所知,在
读取
数据
时
正常创建模式会使
读取
速度更快) 然后将数据转换为pandas数据帧,在此转换中,我应该指定模式还是已经优化?
浏览 0
提问于2019-05-10
得票数 0
1
回答
如何从
Pyspark
更新Mysql
表
中的数据
、
我可以从
pyspark
中的mysql
表
中
读取
数据。hiveContext.read.format('jdbc').options(url=jdbc_url, dbtable=mysql_query,driver='com.mysql.jdbc.Driver').load() 但是我
找不到
在有没有人执行过
pyspark
的更新。
浏览 4
提问于2016-12-17
得票数 1
1
回答
如何将HBase
表
作为
pyspark
数据帧
读取
?
、
有没有可能在不使用Hive或Phoenix或Hortonworks提供的spark-Hbase连接器的情况下直接以
Pyspark
Dataframes的形式
读取
Hbase
表
?我对Hbase比较陌生,
找不到
一个直接的Python示例来将Hbase
表
转换为
Pyspark
数据帧。我看到的大多数示例都是用Scala或Java编写的。
浏览 2
提问于2017-10-05
得票数 1
1
回答
Pyspark
:
读取
带有双引号和逗号字段的csv文件
我有一个csv文件,我正在通过
pyspark
读取
并加载到
postgresql
中。它的一个字段包含字符串,字符串中包含coma和双引号。就像下面的例子- 1.""B"" 5"
Pyspark
正在解析它,如下所示。这会引起问题,因为当我将数据加载到
postgresql
中
时
,它会将值/列混为一谈,并且脚本失败。 1.如何在
pyspark
中处理这种情况?基本上,我想编程忽略coma或双引号,如果它是在双引号内。
浏览 105
提问于2020-08-27
得票数 0
1
回答
ImportError:无法导入名称'st_makePoint‘
、
、
我正在尝试使用
pyspark
在
postgresql
数据库中输入一些数据。postresql
表
中有一个字段,定义为数据类型地理(Point)。我编写了下面的
pyspark
代码来创建这个使用经度和纬度的字段。from
pyspark
.sql.functions import st_makePointdf = df.withColumn("Location", st_makePoi
浏览 0
提问于2020-08-02
得票数 0
回答已采纳
1
回答
无法使用kubernetes中托管的
Pyspark
读取
PSQL
、
、
、
、
我在jupyter笔记本中使用考拉,以便执行一些转换,我需要从Azure Database for
PostgreSQL
中进行写入和
读取
。<table>", con=engine_azure) 我想使用以下代码从
Pyspark
读取
此
表
: import os from
pyspark
import SparkContext, SparkConf'] = "--packages=org.apache.hadoop:hadoop-aws:2.7.3,o
浏览 15
提问于2020-11-27
得票数 0
回答已采纳
1
回答
从
PostgreSQL
(JDBC)进行查询的分区
、
、
、
我在集群模式下运行spark (与
pyspark
一起运行),并通过JDBC从RDBMS
读取
数据。我通过查询
读取
信息(不是直接的
表
)sql = (select ... )df=spark.jdbc(url=="brand_id", lowerBound=1, 不幸的是,Spark分区选项对WHERE子句在查询的末尾生成,因此
P
浏览 0
提问于2018-05-25
得票数 0
12
回答
使用火花放电连接到
PostgreSQL
、
、
我正在尝试用
pyspark
连接到数据库,并使用以下代码:df = sqlctx.load( user = "ScottyPippen", driver = "org.
postgresql
.Driver
浏览 6
提问于2016-01-22
得票数 27
2
回答
pyspark
.sql.utils.AnalysisException:
表
未找到: test_result;
、
、
、
、
我正在尝试从S3桶中
读取
文件,并使用
pyspark
将数据写入
postgresql
表
,但遇到了以下错误from
pyspark
.sql import SparkSession df.write.format("jdbc").option("driver","org.<
浏览 17
提问于2022-03-29
得票数 0
回答已采纳
3
回答
如何使用JDBC源在(Py)星火库中读写数据?
、
、
、
、
这个问题的目的是记录: 这些方法只要做一些小的改动,就可以与其他受支持的语言一起工作,包括Scala
浏览 0
提问于2015-06-22
得票数 81
回答已采纳
3
回答
Pyspark
可空uuid类型uuid但表达式的类型是变化的
、
、
、
给出一个具有非空uuid列和可空uuid列的
表
设计,如何使用Python3.7.9与Pysmack2.4.3数据table和
PostgreSQL
42.2.18.jar驱动程序进行插入?table_df = spark.read.format('jdbc) \ .option('driver', 'org.
postgresql
.Driver')在
pyspark
.sql.types中没有uuid类型的条目。如果没有option(
浏览 9
提问于2020-11-03
得票数 4
2
回答
Pyspark
:从AWS:S3桶
读取
数据并写入postgres
表
、
、
、
我试图从S3存储桶中
读取
数据,并希望将其写入/加载到postgres
表
中。我的密码是-spark = SparkSession.builder.appName('Read Multiple CSV Files']df1 = files.toPandas() from
py
浏览 3
提问于2022-03-21
得票数 0
回答已采纳
1
回答
Pyspark
dataframe:用给定模式编写jdbc来动态创建
表
、
、
、
是否有一种方法可以像我们使用熊猫的方法那样,动态地从
pyspark
创建具有给定模式的
表
。在上面的代码中,我们如何给出模
浏览 4
提问于2020-06-22
得票数 1
回答已采纳
1
回答
如何从synapse数据库
表
中
读取
表
、
、
但我不明白如何使用
Pyspark
来
读取
这些
表
。这是我的链接服务数据结构。
浏览 5
提问于2022-08-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PostgreSQL 设计缺陷可导致权限提升
如何在CDH集群上部署Python3运行环境及运行Python作业
pyspark 一个大数据处理神器的Python库!
PySpark数据分析基础:PySpark原理详解
pyspark 安装
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券