腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
本地
计算机
读取
数据
时
出现
(
PySpark
)
问题
apache-spark
、
pyspark
当我使用
pyspark
从
我的
计算机
读取
数据
(DAT文件-4 Gb)
时
,一切正常,但当我使用
pyspark
从
本地
计算机
(我公司的其他
计算机
通过LAN连接)
读取
数据
时
,
出现
以下错误: '‘Py4JJavaError用法: java.io.IOException:方案没有FileSystem : null '‘ E
浏览 26
提问于2020-10-28
得票数 0
1
回答
将
PySpark
从
停靠容器连接到
本地
计算机
的配置单元表
docker
、
hive
、
pyspark
我已经使用
Pyspark
构建了一个决策树模型,并希望使用docker容器部署该模型。我使用的是spark 1.6.0。
数据
存储在Hive表中,并位于我的
本地
计算机
中。有没有一种方法可以将
PySpark
从
我的停靠容器连接到我
本地
计算机
中的配置单元表?我的配置单元表中的
数据
可能会更新,所以我不想挂载驱动器,或者只是将文件夹
从
本地
复制到我的容器中,而是在
PySpark
和配置单元表之间建立
浏览 7
提问于2018-12-30
得票数 0
1
回答
读取
csv文件时中绝对URI中的相对路径
python
、
pandas
、
pyspark
、
databricks
我刚接触过
Pyspark
,并尝试使用Databricks中的
数据
库。我试图使用以下语法
从
本地
计算机
读取
csv文件: df = spark.read.format("csv").option("header", True).load("C:\\Users\\***\\Desktopjava.net.URISyntaxException: Relative path in absolute URI: C:%5CUsers%5C****.10%
浏览 13
提问于2021-07-06
得票数 1
回答已采纳
2
回答
如何创建到远程Spark服务器的连接,并从运行在
本地
机器上的ipython中
读取
数据
?
apache-spark
、
ipython
、
hdfs
、
ipython-notebook
我正在
本地
计算机
上运行ipython notebook,并希望创建到远程Spark服务器i.p的连接。然后
从
remote server上存在的hdfs文件夹中
读取
数据
。如何
从
本地
ipython notebook创建到Spark服务器的远程连接
浏览 3
提问于2015-11-24
得票数 6
2
回答
如何在Google中
读取
.yaml文件中的
数据
python-3.x
、
dictionary
、
yaml
、
google-colaboratory
我正在尝试
从
本地
计算机
上的.yaml文件中
读取
数据
。但是,当我导入文件并打印
数据
时
,它将以一行的形式
出现
。供输出参考的屏幕截图如下:然而,通过使用木星笔记本,我成功地
读取
了所需的字典格式的
数据
。供参考的截图在这里如何以Colab逐行字典格式
读取
数据
?
浏览 2
提问于2020-04-05
得票数 0
回答已采纳
1
回答
在Azure Databricks中
读取
Twitter流
数据
python
、
pyspark
、
spark-streaming
、
databricks
、
azure-databricks
我想使用
pyspark
读取
Azure Databricks中的流Twitter
数据
,但我不知道如何做到这一点?我在互联网上找到了几个链接,但它们都需要我的
本地
计算机
的主机I或IP地址,但我想在云上做到这一点,有什么方法或其他代码可以做到吗?sentiment-analysis-on-streaming-twitter-data-using-spark-structured-streaming-python-fc873684bfe3链接显示了如何在
本地
机器上
读取
浏览 15
提问于2021-07-18
得票数 0
1
回答
我可以在我的
本地
机器上对hadoop运行python上的spark命令吗?
hadoop
、
pyspark
、
cloudera
我想在
本地
机器上运行下面的代码。from
pyspark
import SparkContext def quiet_logs( sc ):我的目的是将
数据
从
本地
计算机
加载到hadoop? 提前感谢
浏览 13
提问于2020-06-15
得票数 0
1
回答
从
本地
连接到客户端cassandra
amazon-web-services
、
apache-spark
、
cassandra
、
pyspark
我正在尝试
从
cassandra获取已安装在AWS ec2中的
数据
。当我通过
pyspark
运行以下命令
时
,我能够
从
AWS
读取
,但是当我通过spark-submit提交相同的python文件
时
,我
从
本地
获取rdd。你能给我推荐一下我缺少配置的地方吗?from
pyspark
import SparkConf, SparkContext from
pyspark
.sql.session import Sp
浏览 0
提问于2017-04-14
得票数 2
1
回答
从
本地
计算机
读取
文件并使用google
数据
流写入BigQuery或google存储。
google-bigquery
、
google-cloud-storage
、
google-cloud-dataflow
是否有方法
从
本地
计算机
读取
csv文件并使用google
数据
流将其写入大查询或存储?如果它存在,应该使用哪个跑步者? 所有google
数据
流示例要么
从
云中
读取
,要么写入云存储或大查询。我使用DirectPipelineRunner
从
本地
计算机
读取
和写入
本地
计算机
。
浏览 3
提问于2016-08-04
得票数 1
回答已采纳
1
回答
如何在Python中
读取
/迭代
数据
python-2.7
、
spark-streaming
、
data-stream
我在
计算机
的端口9999上创建了一个流。 我得在上面实现DGIM算法。然而,我无法逐个
读取
数据
流中的位。下面是我的代码:from
pyspark
.streaming import StreamingContextssc = StreamingContext(sc, 1)
浏览 1
提问于2018-07-18
得票数 0
2
回答
我们需要启动spark才能运行
pyspark
吗?
apache-spark
、
pyspark
这可能是一个新手
问题
。这是我的场景。 我已经在我的机器上安装了一个spark。我还没有启动它(使用sbin/ start -all.sh或sbin文件夹中的任何其他脚本)。然后我打开
pyspark
(使用bin/
pyspark
),它启动
时
没有任何错误。
问题
1:执行
pyspark
/ spark -shell程序不需要spark运行吗?
问题
2:还是只有Spark-submit需要spark才能启动? 如果我漏掉了什么,请澄清一下。
浏览 271
提问于2019-05-06
得票数 4
2
回答
如何判断spark会话是否能够以
数据
格式保存
数据
大小?
apache-spark
打算使用
pyspark
(在
本地
模式下运行)
从
Oracle DB中
读取
数据
,并将
本地
存储为parquet。是否有一种方法可以判断火花会话
数据
是否能够保存来自查询的
数据
量(这将是整个表,即。是否有共同的解决方案,如果
数据
将无法适应一个
数据
? *看到了一个类似的
问题
,但对评论中的讨论有点困惑
浏览 2
提问于2019-10-30
得票数 1
回答已采纳
1
回答
本地
数据
库弹出配置远程调试防火墙对话框
sql-server
、
ssms
从
几天前开始,即使当我尝试在
本地
数据
库上调试
时
,也会弹出配置远程调试的对话框。这在我的
本地
机器上从来没有发生过。每当我尝试调试
本地
脚本或存储的procdure
时
,它都会打开。在某些脚本上,我可以单击对话框上的X,
本地
调试将继续进行。但是在其他一些更复杂的脚本上,它不会调试所有的脚本吗? 我必须按照指定的方式配置调试器吗?
浏览 3
提问于2013-08-16
得票数 1
2
回答
LocalStorage处理--如何验证用户是否使用不同的浏览器或其他机器进行调制?
javascript
、
html
、
local-storage
这是一个例子 ( 1)用户(在家中的个人
计算机
上)试图修改他的帖子,为此,我们以可编辑的模式(编辑自己的帖子)将已经保存的内容
从
数据
库加载到浏览器。他对他的帖子做了修改,我们把他的
数据
存储在LocalStorage中。修改后,他关闭了浏览器(没有将
数据
保存到
数据
库中)。2)来自不同
计算机
(可能来自办公
计算机
)或来自不同浏览器的同一个用户打开上述帖子进行编辑
时
,他看到了自己的旧内容(因为他没有保存他的帖子)。他做了一些修改,保存了内容。
浏览 0
提问于2014-07-07
得票数 0
回答已采纳
1
回答
在
PySpark
(
本地
)上编程与在Jupyter Notebook上使用Python编程
python
、
apache-spark
、
pyspark
最近我一直在使用
pySpark
,所以我已经习惯了它的语法、不同的API和HiveContext函数。很多时候,当我开始处理一个项目
时
,我并不完全知道它的范围是什么,或者输入
数据
的大小,所以有时我最终需要分布式计算的全部功能,而在另一些情况下,我最终得到了一些在我的
本地
计算机
上运行良好的脚本。我的
问题
是,与常规的Python/Pandas相比,将
pySpark
作为我的主要语言进行编码是否存在劣势,即使只是进行一些探索性分析?我这么问主要是因为在不同语言之间切换的
浏览 0
提问于2016-07-27
得票数 1
2
回答
如何将
数据
以
数据
文件的形式读入google google
python
、
pandas
、
google-colaboratory
我正在做我的第一个编码项目,想知道如何将
数据
文件
读取
到Google coding中。指令要求我们以df格式
读取
数据
。我已经找到了处理CSV文件的方法,但这是一个非常旧的
数据
文件,它不是CSV。感谢您提供的任何信息。
浏览 0
提问于2021-03-04
得票数 0
1
回答
SSMS 2014备份和恢复
问题
sql-server
、
ssms-2014
我从一台同样运行SSMS 2014的Windows 7
计算机
连接到那台
计算机
。当我执行备份并将.bak文件
从
服务器复制到
本地
计算机
并尝试运行恢复
时
,只要我选择该文件作为源设备,然后单击"Contents“,它就会生成一个错误,显示"Object cannot be cast from另一个方向是在我的
本地
机器上创建一个备份,然后通过RDC将其复制到服务器并执行恢复,没有任何
问题
。但是,不管
数据
库是什么,将其
浏览 2
提问于2016-06-22
得票数 0
1
回答
磁盘缓冲区:为什么它甚至存在于许多磁盘控制器中?
raid
、
filesystems
、
hard-drive
、
buffer
当您请求磁盘
数据
时
,通常首先将其传输到磁盘控制器中的磁盘缓冲区,然后将其发送到RAM (从而存储在内存中)。我只是想知道,首先拥有缓冲区(这实际上是额外的一步)有什么好处。
浏览 0
提问于2011-10-27
得票数 -3
回答已采纳
3
回答
J2EE:
从
web服务器访问文件。
java
我正在尝试开发一个
从
本地
计算机
读取
文件的J2EE web应用程序。用户将能够输入文件所在的路径,当单击按钮
时
,文件将被
读取
并应上载
数据
库。当我在
本地
测试它
时
,这个功能工作得很好,但是当我将代码移动到web服务器
时
,它无法找到文件。这是因为应用程序试图在服务器而不是
本地
计算机
上查找该文件。有没有人能告诉我有没有办法
从
本地
机器上
读取
浏览 1
提问于2011-10-19
得票数 0
1
回答
如何使用
Pyspark
从
xml文件创建子
数据
帧?
pyspark
我在
pyspark
中有所有这些支持库,并且我能够为parent创建
数据
帧- def xmlReader(root, row, filename): return xref df1.head() 我无法创建子
数据
帧
浏览 11
提问于2019-03-15
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
移动电脑硬盘出现问题无法读取时,如何保持原始状态才能提高数据恢复机率
PySpark数据分析基础:PySpark原理详解
pyspark 安装
半小时搭建 spark 应用
遇见YI算法之初识Pyspark(二)
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券