尝试使用PySpark从Postgres DB读取表。/jars/postgresql-42.0.0.jar --jars /tmp/jars/postgresql-42.0.0.jar pyspark-shell'
"driver
浏览 6提问于2017-03-09得票数 3
回答已采纳
我在我的Linux计算机上使用PySpark。我的火花版本是2.4.4。sqlContext = SQLContext(sc)
import pyspark.sql.functions as sqlfunc--我不想每次打开PySpark时都输入这个。因此，我
浏览 2提问于2019-10-18得票数 0
回答已采纳
2回答
我需要阅读pySpark中的连续文件。下面这些对我来说很有用。from pyspark.sql import SQLContext df = sqlContext.read.load
浏览 3提问于2016-06-09得票数 2
回答已采纳
5回答
用电火花读取csv
、、、、
我试着用两种方式来解读：from pyspark.sql import SparkSessionfrom pyspark.confsc = SparkContext.getOrCreate()df.show()import pysparksc = pys
浏览 6提问于2018-01-03得票数 1
如果我使用以下命令读取此文件：它显示了24230行。如果我将多行选项设置为true，它将显示索引越界异常。如果我使用pandas pd.read_csv()阅读它，那么它显示的是确切的否。行的数量。但是我想不使用pandas来阅读这篇CSV。谢谢。from pyspark.sql import SQLCont
浏览 1提问于2019-07-26得票数 1
正如前面提到的，我也在阅读csvsqlContext = SQLContext(sc)
df = sqlContext.read.format
浏览 2提问于2017-03-06得票数 1
当在线阅读时，Spark似乎不支持INSERT INTO，但是，我一直在读到您可以使用dataframe并将其附加到表中。这是我的原始代码：from pyspark.context import SparkContext
from pyspark.context import SparkContext
sql = sqlContext</
浏览 0提问于2018-10-15得票数 1
回答已采纳
有没有人能帮我用pyspark (python)设置一个sparkSession？我知道网上提供的scala示例是类似的()，但我希望用python语言直接演练。然后构建df并在其中运行各种pyspark和sql查询。我所有的旧查询都使用sqlContext。我可以在avros中阅读
mydata = sqlContext.read.format("com.databricks.spark.avro").load("s3:...但是一旦我开始查询数据帧/临时表，我
浏览 4提问于2016-09-30得票数 41
pip install pyspark!pip install azure.storage.common
import pysparkfrom pyspark.sql import SQLContext
浏览 0提问于2020-09-28得票数 1
1回答
阅读谷歌( google )的文章表明，星火是懒惰的评估，所以一些行动会触发这种效果，我补充道：TypeError: 'JavaPackage' object is not代码：from pyspark.sql import SQLContext, HiveContextfrom pyspark.sql.functions import
浏览 1提问于2016-05-31得票数 1
在我的Jupyter笔记本中，我的代码是from pyspark import SparkConfconf = SparkConf()conf.setAppName('pyspark')
from pyspark.sql i
浏览 0提问于2016-09-04得票数 4
回答已采纳
(据我所知，pyspark使用)Scala段落：z.put("xtable", x )%pyspark
g = g.add_legend()Traceback (most recent call last):
File "/tmp/zeppelin_pyspark.pyutils.categorical_order(data[hue], h
浏览 8提问于2016-03-01得票数 14
回答已采纳
1回答
一些背景：analysis_script.pyfrom pyspark.sql import SQLContext, DataFramefrom pyspark.sql.types import *import boto3
sc = SparkContext.ge
浏览 2提问于2018-06-04得票数 0
/spark-1.6.1-bin-hadoop2.6/bin/pyspark --packages com.databricks:spark-csv_2.11:1.3.0sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csvoptions(h
浏览 6提问于2016-07-27得票数 37
回答已采纳
我注意到，当我在HiveContext和SQLContext中运行PySpark中的类似查询时，性能有很大的差异。核心4
from pyspark.sqlimport SQLContextqry = "select count(*) from datab
浏览 0提问于2015-10-14得票数 1
回答已采纳
2回答
我希望使用带有DB2的pySpark语句连接并从pySpark中读取。password, "driver":"com.ibm.db2.jcc.DB2Driver", "sslConnection":"false"} df = sqlContext.read.jdbc(url=jdbcURL,table=table,properties=prop) 我想使用如下的SQL语句来<e
浏览 2提问于2018-08-21得票数 0
回答已采纳
我有以下情况，我以一种非常低效的方式解决了它： 我有一个名为dfUniques的数据帧，其中每行包含不同于其他行的值(例如: 1K行，但它可能更多，甚至可能少于100行)。还有一个名为dfFull的数据帧，在其中的一些行中可以找到与dfUniques中存在的值相同的值。dfFull比dfUniques大得多，而且它的列数也是dfUniques的3倍。我想要做的是在dfFull中查找与dfUniques共有的列与其中的某一行具有相同值的所有行。因为目标是计算dfFull中有多少行来自dfUniques。 我实现的方式是错误的(我认为)，因为它花费了很多时间，而且我使用了collect()调用(
浏览 3提问于2020-07-24得票数 1
回答已采纳
这是代码 df1 = sqlContext.read.format("xml").options(rowTag="IRS990EZ").load("https://irs-form-990.s3.amazonaws.comTraceback (most recent call last)----> 1 df1 = sqlContext.read.format990.s3
浏览 87提问于2017-11-17得票数 4
回答已采纳
请指导我的步骤，以连接和读取数据从MS使用Pyspark。下面是我的代码和当我试图从加载数据时得到的错误消息。请引导我。import urllibfindspark.init()
conf = SparkConf().setAppName(&
浏览 5提问于2016-10-17得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
