使用HiveContext方法实现Spark sql应用于操作

文章/答案/技术大牛

发布

2回答

pyspark、hive、apache-spark-sql、hivecontext

我有一个包含列名、部门、城市的员工配置单元表，我希望在HiveContext.sql()函数中使用IN操作来检索基于员工姓名的数据，但它抛出了pyspark.Analysis Exception.pleaseChennai查询：来自spark程序的代码片段： namesList= ['Ra

浏览 21提问于2020-05-27得票数 0

2回答

SPARK :失败:应为`` ``union'‘，但找到了`(’

sql、scala、apache-spark、dataframe、apache-spark-sql

val query = """SELECT *, ROW_NUMBER() OVER (ORDER BY employee_id) row_number FROM d_f"""但是接下来的问题。

浏览 1提问于2015-08-03得票数 10

1回答

在Spark SQL中使用collect_list和collect_set

apache-spark、hive、apache-spark-sql

根据的说法，collect_set和collect_list函数应该在Spark SQL中可用。但是，我不能让它工作。我正在使用运行Spark 1.6.0。我正尝试在Scala中做到这一点： .agg(collect_set("column2")) 并在运行时收到以下错误： Exception

浏览 7提问于2016-02-21得票数 16

回答已采纳

3回答

火花弹出蜂箱表

apache-spark、apache-spark-sql

sqlContext.sql('drop table test') //spark 1.6这两种代码在pyspark怎样才是正确的方法，把一个蜂箱表通过火花？在使用上述代码提交的作业中。该环境不包含spark.sql.catalogImplementation

浏览 5提问于2016-09-30得票数 8

1回答

Scala : JniBasedUnixGroupsMapping:错误获取组:找不到用户名

scala、maven、hadoop、apache-spark、hivecontext

(HiveContext.scala:231) at org.apache.spark.sql.hive.HiveContext.x$3(HiveContext.scala:229) at org.apache.spark.sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:229) at org.apache.spark.sql.h

浏览 2提问于2015-12-22得票数 0

回答已采纳

2回答

如何从Hive表直接创建RDD？

scala、apache-spark、hive、rdd、hiveql

我正在学习spark，并使用SparkContext对象和一些本地文件、s3和hdfs创建rdd，如下所示： val lines = sc.textFile("file://..

浏览 0提问于2019-03-08得票数 1

1回答

使用select语句在数据挖掘中选择嵌套列时的py4j.protocol.Py4JJavaError

apache-spark、pyspark、apache-spark-sql、pyspark-sql

(q) File "/usr/lib/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway

浏览 3提问于2016-01-26得票数 2

回答已采纳

3回答

如何在spark SQL中获取列的数据类型？

apache-spark、hive、apache-spark-sql

例如，假设我的表是使用以下命令创建的：(col2 int,)column datatype但是，如果不是，那么如何使用另一种方式获取这些数据呢？我使用spark sql来查询hive表。也许是通过HIVE中的元数据？谢谢。

浏览 0提问于2016-03-18得票数 0

2回答

在星火中使用窗口函数

apache-spark、apache-spark-sql、window-functions

16/03/23 05:52:43 ERROR ApplicationMaster: User class threw exception:org.apache.spark.sql.AnalysisExceptionNote that, using window functions currently requires a HiveContext; org.apache.spark.sql.AnalysisExceptionNote that, using window functio

浏览 1提问于2016-03-23得票数 3

回答已采纳

1回答

spark查询执行时间

scala、apache-spark、apache-spark-sql

然后，我使用MySQL元存储区配置配置单元。现在我安装了spark，我正在对hive表进行一些查询，就像这样(在scala中)：result = hiveContext.sql("SELECT * FROM USERS");你知道如何配置spark来显示查询的执

浏览 2提问于2016-04-04得票数 2

2回答

如何在Spark中按爆炸字段分组？

sql、apache-spark、apache-spark-sql、apache-zeppelin、apache-spark-1.6

齐柏林皂苷0.6 df.select(explode($"filtered").as("value")) .count() .

浏览 1提问于2017-04-16得票数 2

2回答

使用Spark SQL创建带有连接的配置单元表时使用的引擎

scala、apache-spark、hive、apache-spark-sql

我不能从文档中确定当使用Spark中的HiveContext创建Hive表时，它是使用Spark引擎还是标准Hive mapreduce作业来执行任务？val sc = new SparkContext() CREATE TABLE db.new_table

浏览 0提问于2018-07-13得票数 0

1回答

在SparkSQL中缓存表时出错

apache-spark、hive、apache-spark-sql

我正在尝试缓存一个在Hive中可用的表(使用spark-shell)。下面是我的代码我得到了下面的例外 org.apache.spark.sql.catal

浏览 5提问于2015-07-18得票数 2

回答已采纳

1回答

窗口函数需要HiveContext

scala、apache-spark、apache-spark-sql、hiveql

我有以下scala代码来从Spark中拉取数据： import org.apache.spark.sql.types尝试了hiveContext方法： .filter(col(Email.TopicId).isin(Topics.Email我能想到的一件事是我们使用

浏览 65提问于2019-04-11得票数 0

回答已采纳

3回答

星火1.6窗口功能

apache-spark、window、udf

我怎么能在Spark1.6中做到这一点？提前感谢！

浏览 2提问于2017-03-28得票数 1

回答已采纳

3回答

如何将多条语句传递给Spark SQL HiveContext

apache-spark、hiveql、spark-dataframe

例如，我有一些想要传递给Spark SQL的Hive HQL语句：create table MY_TABLE stored as parquetas select * from ANOTHER_TABLE;以下内容不起作用： hiveContext.sql("set parquet.compressionMY_TABLE stored as parquet as select * f

浏览 1提问于2016-04-29得票数 7

回答已采纳

2回答

无法通过Spark运行配置单元sql

apache-spark、hive

pyspark.sql import HiveContext sqlContext = SQLContext(sc) #HiveContext.setConf("yarn.timeline-service.enabled","false") #HiveContext.sql("SET <e

浏览 0提问于2018-03-13得票数 0

1回答

CDH5.4.2火花可以在火花壳中使用HiveContent，但不能打开火花-sql

apache-spark、cloudera-cdh、hivecontext

我使用的是CDH5.4.2的火花(独立的) org.apache.spark.sql.hive.HiveContext@6c6f3a15 scala> hiveContext =新的org.apache.spark.sql.hive.HiveContext(sc)；<

浏览 8提问于2016-07-26得票数 0

1回答

我的Spark* Streaming应用中的java.lang.NullPointerException*

scala、apache-spark、spark-streaming、apache-spark-sql

我的spark应用程序需要处理数据流。为此，我使用了两个sparks模块:流模块和sql模块。特别是，我需要使用sql模块，因为对于从流接收到的每个记录，我必须查询本地元存储中的配置单元表。主要问题如下:在流处理开始之后(通过流上下文的方法start )，我不能使用sqlContext。at org.apache.spark.sql.hive.HiveContext.metadataHive(HiveCont

浏览 2提问于2015-06-22得票数 1

1回答

用火花将CSV转换为ORC

apache-spark、apache-spark-sql、orc

我见过Hortonworks通过数据源支持Spark1.2中的ORC的。它涵盖了1.2版本，它解决了来自对象的ORC文件的问题或创建，而不是从csv到ORC的转换。

浏览 10提问于2016-04-05得票数 3

回答已采纳

点击加载更多