1回答
当通过Thrift接口执行查询时，我如何告诉它在YARN上运行查询？
我正在尝试让Spark的JDBC/ODBC Thrift接口在YARN上运行Spark-SQL调用。这种组合似乎没有出现在文档中。
浏览 14提问于2019-08-20得票数 0
使用配置了Yarn的Spark (在client模式下，虽然与问题没有太多关系)，我发现我的一些Executors失败了。
浏览 0提问于2016-06-08得票数 3
1回答
我在研究纱线上的火花。我已经在纱线上工作了，我正在努力工作“火花壳-主纱-客户”。但是我发现纱线有问题，所以我考虑了几件事要检查。你能让我知道这些守护进程在纱线上运行是正确的吗？
浏览 1提问于2016-03-14得票数 0
回答已采纳
如何在EMR上设置火花服务器？我正在尝试使用SparkTh残留物服务器建立到EMR的JDBC/ODBC连接。例如：我们执行以下操作来重新启动Hive-Server2 2-不确定在AWS EMR上重新启动火花服务器的服务是什么，以及如何设置用户Id和密码。
浏览 0提问于2018-03-20得票数 3
回答已采纳
2回答
当在纱线上运行火花作业(纱线-集群模式)时，纱线在容器中创建工人，其名称如下：container_e116_1495951495692_11203_01_000105。
000105 --这可能只是一个增量整数。综上所述，当在纱线上进行火花作业时，我如何知道哪些容器属于哪个执行器？
浏览 1提问于2017-06-01得票数 3
回答已采纳
right.现在我想通过JDBC远程访问这个表。0: jdbc:hive2://localhost:10000> show tables; | result |+---------我可以通过服务器看到RDD，但我不知道如何
浏览 5提问于2014-11-24得票数 19
回答已采纳
3回答
过去2周，我一直在研究是否可以使用REST或某种类型的Spark驱动程序插入PHP应用程序来连接到Spark服务器&在Spark上执行与我现在拥有的SQL相同的一组SQL。我还没找到解决办法。我确实读过这个- ，但它看起来像是一个独立的火花安装。在我的案子里，我正在处理一个庞大的集群。
请告诉我任何方向。
浏览 0提问于2016-09-20得票数 5
回答已采纳
1回答
JDBC火花连接
、、、、
我正在研究如何从R/python中建立一个JDBC连接。我知道pyspark和SparkR都是可用的，但它们似乎更适合交互式分析，特别是因为它们为用户保留了集群资源。我正在考虑一些更类似于Tableau ODBC火花连接的东西--更轻的(据我理解)支持简单随机访问的东西。虽然这似乎是可能的，而且有一些，但不清楚(对我来说) JDBC驱动程序的需求是什么。我是否应该像我一样使用org.apache.hive.jdbc.HiveDriver来建立一个Hive连接，因为Hive和Spark通过
浏览 4提问于2016-05-05得票数 0
回答已采纳
1回答
在初始的SQL中，我尝试过使用cache table，到目前为止性能一直很好。我现在正在寻找一种方法来缓存和不缓存很少经常使用的表时，使用我们的数据管道更新。我面临的挑战是，通过Tableau完成的缓存表将在节俭服务器的整个生命周期内保持在缓存中，但是当我编写数据、pipleline处理和提交星火作业时，它将使用不同的星火上下文。请任何人建议我如何通过后端进程连接到节俭服务器上下文。
是否有一种方法可以重复使用火花提交或火花外壳的节约服务？
浏览 3提问于2016-09-14得票数 2
回答已采纳
我可以通过直线连接。连接JDBC ://bigdatamr:10000/ beeline>默认连接到JDBC:hive2://bigdatamr:10000/默认输入JDBC用户名: Hive 2://bigdatamr:-1703)驱动程序:Hive(Version1.2.0-MapR-1703)事务隔离:TRANSACTION_REPEATABLE_READ
我怎样才能把它转化为使用火花呢？我试过节俭<
浏览 0提问于2019-07-25得票数 4
我是在客户端模式下在纱线上运行Spark，所以我希望纱线只为执行者分配容器。然而，据我所见，似乎也为驱动程序分配了一个容器，而且我没有像我所期望的那样得到更多的执行者。为什么要
浏览 1提问于2018-07-29得票数 5
回答已采纳
1回答
我在纱线上运行我的星火应用程序，参数如下：spark.master yarn-clientspark.driver.memory 1gspark.executor.instances 6成纱-site.xml：
yarn.nodemanager.resource.memory-mb每次我运行应用程序时，在Spark中只有两个执行器和一个驱动程序可见。执行器出现在不同的节点
浏览 3提问于2016-10-26得票数 4
1回答
我正在尝试使用火花服务器。要启动星星之便服务器，我运行shell脚本start-thriftserver.sh!connect jdbc:hive2://localhost:10000 user_name '' org.apache.hive.jdbc.HiveDrivercreate table names_tab(a int, name string)
浏览 1提问于2017-01-18得票数 1
回答已采纳
情况如下：我可以通过kinit得到一张票(返回没有错误)。但是，一旦我尝试执行以下任何命令：
本质上，集群上的任何星体
浏览 3提问于2016-01-23得票数 5
我在ubuntu上安装了Hadoop2.8.1，然后在它上安装了火花-2.2.0bin-hadoop2.7。首先，当我通过shell创建数据库并尝试通过java程序访问它时，我发现没有表存在。我通过直线创建了数据库。为什么火花壳和直线显示不同的DBs？
他们也许应该表现出同样的样子。我尝试了普通的JDBC程序，它连接hive2并获取表，并观察到有时它显示我通过spark创建的表，有时显示通过beeline...Ple
浏览 4提问于2017-08-23得票数 0
回答已采纳
在下面的图片中，我想要做的是：
到目前为止，我已经用java为我的星火流和火花应用程序编写了源代码。我在火花文档中读到，火花可以在中间层或纱线杂碎器中运行。如图所示，我已经有了hadoop集群。是否有可能在同一个hadoop集群中运行我的星火流和火花应用程序？如果是，是否有任何特定的配置可执行(例如节点数、RAM.)。还是我必须为火花流添加一个hadoop集群？
我希望我的解释是清楚的。
浏览 2提问于2017-01-13得票数 2
回答已采纳
我有一个Cassandra集群，它有一个位于同一位置的星火集群，我可以通过编译它们、复制它们并使用./ Spark submit脚本来运行通常的星火作业。现在，我觉得我在兜圈子，试图找出是否可以在JDBC连接中通过Spark直接查询Cassandra (例如来自松鼠SQL)。Spark文档说
Connect through JDBC or ODBC.A server mode provides industry standard JDBC and ODBC c
浏览 4提问于2015-12-10得票数 1
回答已采纳
火花壳开始使用：我希望纱线分配约400 go的内存，以火花外壳，但当我去我运行的HDP 2.5中的yarn.调度器.最小-分配-mb设置为4096纱-site.xml。
搞不懂这是怎么回事。这就是为什么司机对4G+384M的要求在纱中显示为5G。参数yarn.调度器.最小分配-mb实际上是“最小分配-单元-mb”。这可以很容易地通过将参数设置为质数(例如
浏览 2提问于2017-05-21得票数 2
我试着在之后建立星火
0: jdbc:hive2://localhost:10000> set hive.execution.engine=sp
浏览 7提问于2017-02-21得票数 3
回答已采纳
(id int，类型字符串)，由(id)聚集成两个存储为的桶(‘事务性’=‘true’)；
但是在火花作业控制台中:它显示了与上述查询相关的作业之一--跳过的阶段(1) --火花JDBC服务器查询
浏览 5提问于2015-11-23得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
