如何为Zeppelin配置Livy / spark？
如何为Zeppelin配置Livy / spark？
提问于 2017-01-12 06:22:53
我已经成功地使用Spark配置了齐柏林飞艇。然而，我想使用多租户，为此我想用Livy和Spark配置Zeppelin。
对于Livy，我提供了以下两条路径
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf我可以在Zeppelin中成功运行以下命令：
%livy.spark
sc.version但是，以下命令会失败：
%livy.sql
select * from myDB.table1我看到以下错误：
<console>:14: error: not found: value sqlContext
sqlContext.sql("select * from datalake.combination2").show(1000)我还没有为Zeppelin启用Shiro身份验证。我假设Livy会使用默认用户登录到Spark，因为我提供了Spark主目录。谁能指出我该如何解决上面的问题？另外，我需要做什么配置才能启用模拟？
回答 1
Stack Overflow用户
发布于 2019-09-05 18:18:57
当我的集群没有获得足够的资源来启动livy会话时，这种情况就会发生在我身上。你在zeppelin中配置你的livy会话了吗？
解释器-> livy2 -> basic spark configuration：
- livy.spark.driver.cores
- livy.spark.driver.memory
- livy.spark.executor.cores
- livy.spark.executor.instances
- livy.spark.executor.memory
- livy.spark.master
- livy.spark.submit.deployMode还要配置解释器实例化: globally | user | note
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/41601806
复制相关文章
相似问题
腾讯云开发者
