Apache livy for Dask分布式替代方案
Apache Livy是一个开源的项目，它提供了一个REST接口，用于在Apache Hadoop集群上运行交互式和批处理作业。它可以作为Dask分布式的替代方案，用于在云计算环境中进行大规模数据处理和分析。
Apache Livy的主要特点和优势包括：
- 交互式和批处理作业支持：Livy支持在Hadoop集群上运行交互式的会话式作业，如Spark Shell和PySpark，以及批处理作业，如Spark应用程序。
- REST接口：Livy提供了一个REST接口，使用户可以通过HTTP请求提交作业、查询作业状态和获取作业结果。
- 多语言支持：Livy支持多种编程语言，包括Java、Scala和Python，使开发人员可以使用自己熟悉的语言进行作业开发。
- 集成性：Livy可以与其他开源项目集成，如Apache Spark、Apache Hadoop和Apache Zeppelin，提供更强大的数据处理和分析能力。
- 可扩展性：Livy可以与云计算平台集成，如腾讯云，以实现弹性扩展和高可用性，以满足大规模数据处理的需求。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark：腾讯云提供的Spark云服务，支持大规模数据处理和分析。详情请参考：https://cloud.tencent.com/product/spark
- 腾讯云Hadoop：腾讯云提供的Hadoop云服务，用于存储和处理大数据。详情请参考：https://cloud.tencent.com/product/hadoop
- 腾讯云Zeppelin：腾讯云提供的Zeppelin云服务，用于交互式数据分析和可视化。详情请参考：https://cloud.tencent.com/product/zeppelin
总结：Apache Livy是一个开源的项目，用于在Hadoop集群上运行交互式和批处理作业。它可以作为Dask分布式的替代方案，提供了REST接口、多语言支持和与其他开源项目的集成。腾讯云提供了Spark、Hadoop和Zeppelin等相关产品，可以与Livy集成，实现大规模数据处理和分析的需求。
相关·内容
1回答
Apache livy for Dask分布式替代方案
apache-spark、dask、dask-distributed
Dask是一个纯粹的基于python的分布式计算平台，类似于Apache Spark。有没有办法通过REST API运行和监控Dask分布式作业/任务，比如Apache Livy for Apache Spark？
浏览 41提问于2021-09-26得票数 1
2回答
Apache Livy与spark-jobserver的比较
apache-spark、spark-jobserver、livy
我知道Apache Livy是用于从任何地方与spark进行交互的rest接口。那么，使用Apache Livy而不是spark-jobserver有什么好处呢？使用Livy作为替代的spark-jobserver的缺点是什么？我在网上找不到太多关于这个的信息。你能帮我弄清楚这一点吗。
谢谢,
浏览 4提问于2018-02-19得票数 18
1回答
python中的分布式读取器锁
python、python-2.7、locking、distributed
我正在寻找一个可以在分布式系统中的python中使用的。
dask的分布式包提供了一个，但同样没有读写器锁。除了kazoo /动物园管理员，还有更轻量级的替代方案吗？理想情况下，纯python解决方案仍然是经过战斗测试的吗？
浏览 2提问于2020-03-23得票数 1
回答已采纳
1回答
下载或使用这样大的数据集
python、machine-learning、dataset、kaggle
这个的大小非常大。
我试图用Kaggle提供dataset链接中的URL链接来创建dataset，但结果显示:不幸的是，我们无法创建您的数据集。原因:发生了内部错误。
浏览 3提问于2022-11-19得票数 0
3回答
Apache不使用本地jar文件
scala、apache-spark、livy
这是我的livy.conf文件，正如一些文章所建议的那样，可以更改一些东西。livy.server.host = 0.0.0.0
livy.server.port = 8998
# What spark master Livy sessio
浏览 0提问于2018-06-26得票数 9
回答已采纳
1回答
分布式rest调用和聚合
java、apache-spark、mapreduce、distributed
我有一个客户端的用例，需要从web rest服务加载大量数据。此rest api具有高度可伸缩性，显然在处理超过10000+的并发请求时没有任何问题。 我的问题是，我需要并发使用此服务(1000个请求)，并在短时间内加载大量数据。 问题： 1) Each request can return about 10-30MB of compressed json data.
2) My machine can't afford to make 1000+ requests on a 8 core 32G machine due to each thread blockking IO fun
浏览 20提问于2019-02-27得票数 0
回答已采纳
3回答
如何在Airflow中配置DaskExecuter
python、airflow、dask
我想为Airflow中的分布式DAG配置Dask。我读过和，但我不明白它是如何工作的。我有两个Apache Aiflow服务器，在哪里运行dask-shedulers和dask-workers，在第一个服务器崩溃时，第二个服务器上的所有东西都自动工作？我不明白如何在两台服务器上成为dask-shedulers的朋友。我不明白为什么需要dask-worker和它做什么，我认为这是某种不必要的组件。
浏览 0提问于2018-10-11得票数 2
2回答
除了Livy server(livy.conf)，还有其他配置要做吗？
docker、apache-spark、docker-compose、dockerfile、livy
我已经为hadoop纱线设置了docker，并且我正在尝试设置livy apache服务器来为作业提交进行API调用。/apache-livy-0.6.0-incubating-bin/bin/src/main/org/apache/livy/server,AVAILABLE}
19/08/17 07:09:36 INFO/apache-livy</em
浏览 0提问于2019-08-17得票数 1
1回答
Dask工作进程内存不断增长
tensorflow、dask-distributed
我正在dask分布式，tensorflow，keras设置上优化ML模型。工作进程在内存中不断增长。还有人有其他解决方案吗？
Dask分布式版本: 1.21.1 Python: 3.6.3 Tensorflow: 1.7 Keras: 2.1.5
浏览 1提问于2018-04-07得票数 1
1回答
将带有参数的python脚本发送到Apache Livy
python、rest、apache-spark、pyspark、livy
我正在尝试发送带有参数的python脚本到Apache Livy。我已经有了一个使用以下python代码将文件内容(file_content)发送到Livy的代码： 'code': file_contentheaders = {data), headers=headers)
现在我想把带有参数的python脚本注入到文件中，例如在unix系统上，它看起来像这样：python add_two_numbers.py 1 2，但使用的是ApacheLivy</e
浏览 0提问于2019-04-27得票数 2
1回答
通过Mobius在Spark上进行机器学习
c#、apache-spark
Mobius是apache spark的c#绑定。我想知道是否也可以通过C#使用MLlib和graphx。同样，可以通过C#为apache spark创建机器学习和图形处理作业。
浏览 0提问于2017-06-01得票数 1
1回答
使用Dask进行内存高效数据加载
python、dask、dask-distributed
除此之外，还有一个dask分布式集群，看起来像是这种情况的解决方案，dask-scheduler运行在服务器上。这是我尝试过的：import pandas as pdcheques = from_sequence(pd.read_csv('cheque_data.csv',chunksize=10
浏览 3提问于2021-09-22得票数 0
1回答
达斯克分拣
sorting、dask、dask-distributed、dask-delayed
我想在dask中找到pandas.dataframe.sort_value函数的替代方案。如何对Dask数据帧的多列进行排序？
浏览 1提问于2018-06-12得票数 9
回答已采纳
1回答
什么是开源替代亚马逊S3？
apache、hadoop、amazon-web-services、distributed-computing、distributed-system
我想要一个分布式的，高度可用的文件存储，而不是在云上。我有什么开源的替代方案？我找到了一个
还有什么更好的吗？以前有人用过拳击吗？是S3的完美替代，我的基本要求是上传和下载文件。上传tps可能很高。
浏览 4提问于2014-02-18得票数 0
回答已采纳
我用的是分布式的达斯克。
我重新启动了我的分布式网络(4名工作人员)，然后提交一个函数，将文本从s3桶中的文件(大小为25 Mb)中读取到一个dask包中，然后计算dask集合。在这个往返结束时: 1)存储在分布式网络中的字节比开始时高出大约100 Mb (即4x文件大小)。2)此外，我还可以看到，这些“额外”字节仅驻留在4个工人中的2个。我可以通过重新启动分布式网络(即client.restart())来清除这些“额外的”字节，但是该解决方案“在野外”并不适用，在这里
浏览 1提问于2019-06-15得票数 0
1回答
Tensorflow - Joblib的任务？
tensorflow、dask、joblib
在使用SciKit Learn和XGBoost在多节点dash集群中测试我们不同的算法时，我对DASK和JOBLIB的结果感到惊讶。我想知道如何将tensorflow 2.0与Dask和Joblib相结合，以实现神经网络的并行计算。
浏览 16提问于2020-07-07得票数 0
1回答
为什么dask读取sql表有时会慢下来？
python、sql、performance、dask、fastapi
import dask.dataframe as dd connection_url = URL.create( username
浏览 2提问于2021-12-14得票数 1
回答已采纳
1回答
AttributeError：'MaterializedLayer‘对象没有属性'pack_annotations’
dask、amazon-sagemaker、dask-distributed、dask-ml、distributed-training
我有一个dask集群在活动client
当我试图对我的数据进行编码时
浏览 8提问于2022-06-15得票数 1
我刚开始使用dask进行分布式/并行计算。我在我的Mac上运行它有很大的问题，但当我以root身份运行时，它似乎可以工作。这似乎不是运行长时间运行程序的最佳方式。对此有什么解决方案吗? /Tomas
浏览 0提问于2016-09-16得票数 0
回答已采纳
1回答
在分布式dask中使用tqdm
python、dask、tqdm
我使用以下代码来并行化我的图像处理函数： from dask.distributed import Client
def我已经看到this post链接到tqdm pull request，但我认为它是针对dask本地的，而不是dask分发的。所以它不是为分布式接口设计的。或许我错过了什么..。我在dask progress的代码中做了一点，但我不清楚如何将tqdm插入到它中…… 有什么解决方案</em
浏览 24提问于2019-03-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
