1回答
我想在pyspark上运行我的pandas代码，但我需要考拉。如何在spark 2.4中安装和使用考拉？
浏览 15提问于2020-06-12得票数 2
回答已采纳
我在Spark+AI峰会上发现了，它把熊猫带到了星火。考拉也是这样吗？或者我只需要在我的主节点上运行pip install koalas，让考拉和斯帕克来处理剩下的事情？
除了pip install koalas之外，我还没有在考拉的中找到任何细节。
浏览 0提问于2019-10-29得票数 1
2回答
我试图了解考拉的内部运作。我使用过的每一个教程都向我展示了三个概念。根据我的理解，火花数据是典型的分布式火花数据。让这个图像帮助我们理解：
这样看来，考拉数据帧只是一个逻辑概念，人们可以将它理解为火花数据帧的解析输出，内部框架提供解析器。它是火花数据的抽象层，有助于使星火数据能够适应考拉API (熊猫风格)。
每个对考拉数据帧的API调用都会创建一个新的内部框架，并且创建或不创建一个新的火花数据框架。创建
浏览 1提问于2021-10-05得票数 0
2回答
我们有一个Spark集群，用于对Python中的各种金融数据集进行分析，这些数据集高达数百to。Spark的主要优点是它是为分布式处理而设计的，并且能够处理更大的数据集，因此我们一直在考虑建立一个Dask集群。但这让我思考:是否有某种概念上的原因，为什么Pandas脚本不能通过实现兼容性层来将Pandas原语转换为Spark原语，从而使Pandas脚本不能在星火集群上运行，就像Dask的工作方式一样？
浏览 1提问于2018-09-11得票数 2
回答已采纳
2回答
我知道你可以将星星之火数据格式df转换成熊猫数据格式
然而，这花费了很长时间，所以我在databricks中发现了一个考拉包，它可以让我在没有熊猫数据的情况下使用这些数据作为熊猫的数据我已经有了火花数据，但我找不到办法使它成为考拉之一。
浏览 0提问于2019-06-21得票数 10
回答已采纳
1回答
我尝试了其他方法，如成功地将拼花导入为Spark DataFrame，但当我将Spark DF转换为Koalas DF时，它给出了相同的错误。我是考拉的新手。有没有人能解释一下。谢谢
浏览 2提问于2020-04-01得票数 1
这周我刚开始使用PySpark，我已经安装了access 2的实例已经安装了Pandas。但是在星火上拥有熊猫有什么用呢？在PySpark上运行脚本不就是为了克服像Pandas这样的软件包的局限性吗？
如果Pandas在星火上运行，它的性能会提高吗？它与星火的RDD兼容吗？
浏览 0提问于2017-01-13得票数 4
1回答
通过查看Google文档，我能够向Dataproc集群提交Spark作业，并在集群中安装JupyterLab，以便在笔记本上运行迭代操作。我特别感兴趣的是从本地JupyterLab创建集群，然后使用pySpark (考拉)对托管在BigQuery和GCS上的大型数据文件执行一系列操作。我的目标是在本地JupyerLab中使用Dataproc，就像访问集群机器或顶点IA中的JupyterLab安装一样。
有人知道如何配置它吗？
浏览 3提问于2022-01-11得票数 2
3回答
我正在尝试使用jupyter notebook中的spark deep learning library()。当我在cli中运行以下命令时我可以在spark shell如何在jupyter notebook中使用这个库？
浏览 0提问于2019-03-27得票数 2
1回答
我需要安装一个.jar依赖项(sparkdl)来处理一些映像。使用火花-提交，我可以使用：使用本地笔记本，我可以使用-spark2.4-s_2.11'))
但是如何在EMR笔记本上做同样的事情呢？，我可以使用引导程序
浏览 3提问于2019-12-17得票数 4
1回答
这看起来很基本，但从我在databricks网站上看到的情况来看，我这方面什么都不起作用
我已经在我的集群上安装了koalas包，但是当我尝试在我的Scala笔记本中导入该包时，我遇到了问题。
浏览 11提问于2020-02-11得票数 1
回答已采纳
2回答
如何在Google colab上安装图形框架？我也尝试过!pyspark --packages graphframes:graphframes:0.8.0-spark2.4-s_2.11
所有其他来源似乎都不能在Colab平台上工作。
浏览 3提问于2020-04-13得票数 4
它是9.10之后的默认bootloader (业力考拉)。
了解其他可用的boot-loaders以及如何在Ubuntu中安装它们是很好的吗？
浏览 0提问于2013-10-06得票数 3
1回答
我正在尝试使用Apache上的图形框架库，并使用Spark (吡火花)解释器，但是，每当我试图使用ModuleNotFoundError: No module named 'graphframes'导入图形帧模块时我尝试在zeppelin-env.sh文件中添加--packages 'graphframes:graphframes:0.7.0-spark2.4-s_2.11'指令，尝试使用z.load('graphframes:graphframes:0.7.0-s
浏览 0提问于2019-06-01得票数 2
回答已采纳
我在我的windows7 PC上安装了koala GUI应用程序。但当我点击打开考拉应用程序时，却看不到应用程序窗口。但是Koala.exe在我的任务管理器的进程选项卡中。在这方面请帮帮我。
浏览 2提问于2013-06-28得票数 0
回答已采纳
我有一个Spark数据帧需要填充。数据帧大小较大(>1亿行)。我可以使用pandas实现我想要的效果，如下所示。.reset_index(['Column1', 'Column2', 'Column3'], drop=True) \在使用考拉尝试有没有更好的方法来替代spark原生函数中的ffill复制逻辑呢？原因是，我想避免pandas，因为它不是分布式的，只在Driver Node上</
浏览 5提问于2020-08-04得票数 0
因此，我想试试考拉。我对Pandas有很多经验，希望这个API能帮助我充分利用我的技能。我的问题是:考拉库允许使用所有Pandas机器学习库，如Scikit- learning、XGBoost和TensorFlow吗？由于考拉API是相对较新的，除了缺乏文档之外，还能期望什么回退呢？
浏览 0提问于2020-02-14得票数 3
回答已采纳
我试过在我的考拉身上安装MTS Mblaze。但失败了。当我试图使用突触管理时，它说软件索引被破坏了。所以我不能做任何更新。$ sudo apt-get -f有办法手动删除吗？
浏览 0提问于2011-09-20得票数 0
我得到了以下异常： at java.lang.ProcessBuilder.start(Unknown Source)
at org.apache.spark.launcher.S
浏览 2提问于2016-05-13得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
