如何在Zeppelin Spark Sql中向Datetime添加小时数
在Zeppelin Spark SQL中向Datetime添加小时数，可以使用Spark SQL的内置函数date_add来实现。date_add函数用于在给定的日期或时间上添加指定的时间间隔。
以下是在Zeppelin Spark SQL中向Datetime添加小时数的步骤：
- 首先，确保你已经在Zeppelin中创建了一个Spark SQL的上下文。
- 使用
SELECT语句选择要操作的Datetime字段，并使用date_add函数来添加小时数。例如，假设你有一个名为my_table的表，其中包含一个Datetime字段my_datetime，你想要在该字段上添加2个小时，可以使用以下查询语句： - 使用
SELECT语句选择要操作的Datetime字段，并使用date_add函数来添加小时数。例如，假设你有一个名为my_table的表，其中包含一个Datetime字段my_datetime，你想要在该字段上添加2个小时，可以使用以下查询语句： - 这将返回一个新的Datetime字段
new_datetime，其中包含在my_datetime上添加2个小时后的值。 - 运行查询语句后，你将得到一个包含新Datetime字段的结果集。
在腾讯云的产品中，与Spark SQL相关的产品是腾讯云EMR（Elastic MapReduce）。EMR是一种大数据处理服务，它提供了基于Apache Spark的分布式计算能力。你可以使用EMR来处理大规模的数据集，并在Spark SQL中执行类似上述的查询操作。
更多关于腾讯云EMR的信息，请参考以下链接：
请注意，以上答案仅供参考，具体的实现方式可能会因环境和需求而有所不同。
相关·内容
我可以通过bin/spark-shell --packages com.databricks:spark-xml_2.11:0.3.0运行shell来分析xml文件，例如：
import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val df = sqlContext.read
.format("com.databricks.spark.xml")
.option("rowTag", "book")
.load("boo
浏览 2提问于2016-04-27得票数 1
回答已采纳
我正在emr-5.4.0集群上运行齐柏林飞艇0.7.0。我将使用默认设置启动群集。%spark.dep解释器不通过EMR进行配置。
我从下面编辑了文件/etc/zeppelin/conf/interpreter.json：
"2ANGGHHMQ": {
"id": "2ANGGHHMQ",
"name": "spark",
"group": "spark",
"properties": {
"spark.yarn.jar": &
浏览 3提问于2017-03-27得票数 4
2回答
在执行%sql语句时为下面的代码抛出的异常：
异常- org.apache.spark.sql.AnalysisException:表未找到: businessReviews；第1行pos 14
代码：
val business_DF = sqlCtx.read.json("/Users/tom/Documents/Spring 2016/Java/Project/YELP/yelp/DS - YELP/yelp_academic_dataset_business.json").select("business_id", "categories&#
浏览 3提问于2016-04-11得票数 3
我在我的zeppelin笔记本上写了这个简单的代码
import org.apache.spark.sql.SQLContext
val sqlConext = new SQLContext(sc)
val df = sqlContext.read.format("csv").option("header", "true").load("hdfs:///user/admin/foo/2018.csv")
df.printSchema()
早些时候，它无法找到spark-csv。因此，我将其作为依赖项添加到spark1和spark2
浏览 93提问于2018-05-29得票数 0
回答已采纳
特别是，如何更改zeppelin.spark.sql.stacktrace的值？
一条错误消息给出以下注释：
无法识别“SELECT‘X”附近的输入。在表达式规范中；第64行pos 10将zeppelin.spark.sql.stacktrace = true设置为查看完整的堆栈跟踪
但是，确切地说，如何将zeppelin.spark.sql.stacktrace设置为真呢？我尝试过各种配置选项，例如在zeppelin-site.xml中添加XML定义，通过zeppelin-env.sh添加额外的Java选项等等，没有什么不同。
浏览 5提问于2016-11-11得票数 0
回答已采纳
我试图通过在齐柏林飞艇的解释器控制台的Dependencies部分指定groupId:artifactId:version来通过maven添加Spark依赖项。有一次，我保存并执行了一个spark段落。抛出java.lang.NullPointerException，下面有完整日志
java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:44)
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:39)
a
浏览 0提问于2018-08-10得票数 1
我在Zeppelin 0.7笔记本上使用Spark 2和Scala 2.11。我有一个数据框，我可以这样打印：
dfLemma.select("text", "lemma").show(20,false)
输出如下所示：
+---------------------------------------------------------------------------------------------------------------------------+------------------------------------------------
浏览 20提问于2017-07-06得票数 22
回答已采纳
当我试着运行这些笔记时，它就开始了
%spark2
val catDF = spark.read.format("avro").load("/user/dstis/shopee_category_14112019")
catDF.show()
catDF.printSchema()
或者这个替代方案
%spark2
val catDF = spark.read.format("com.databricks.spark.avro").load("/user/dstis/shopee_category_14112019
浏览 1提问于2020-08-06得票数 0
回答已采纳
我试图运行一个齐柏林飞艇笔记本，其中包含星火的结构化流例子卡夫卡连接器。
>kafka is up and running on localhost port 9092
>from zeppelin notebook, sc.version returns String = 2.0.2
这里是我的环境：
kafka: kafka_2.10-0.10.1.0
zeppelin: zeppelin-0.6.2-bin-all
spark: spark-2.0.2-bin-hadoop2.7
这里是我的齐柏林飞艇笔记本上的代码：
import org.apache.enter c
浏览 2提问于2017-01-06得票数 2
1回答
我在ubuntu中安装了spark-2.1.0-bin-hadoop2.7.tgz。
我将zeppelin-env.sh设置如下。
export PYTHONPATH=/usr/bin/python
export PYSPARK_PYTHON=/home/jin/spark/python
所以我试着在齐柏林飞艇笔记本中使用pyspark。
%spark.pyspark
print(2+2)
zeppelin笔记本中出现错误。
java.lang.NullPointerException
at org.apache.zeppelin.spark.Util
浏览 14提问于2017-02-24得票数 3
我正在尝试使用(0.7.2，在Mac上本地运行的.NET安装)来探索从s3桶加载的数据。数据似乎加载得很好，如下命令所示：
val p = spark.read.textFile("s3a://sparkcookbook/person")
给出了结果：
p: org.apache.spark.sql.Dataset[String] = [value: string]
但是，当我试图调用对象p上的方法时，会得到一个错误。例如：
p.take(1)
在以下方面的成果：
java.lang.NoClassDefFoundError: Could not initialize clas
浏览 2提问于2017-08-20得票数 4
回答已采纳
当我在apache zeppelin 0.8.1中使用pyspark运行代码时，我得到如下错误
java.lang.NullPointerException
at org.apache.thrift.transport.TSocket.open(TSocket.java:170)
at org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:51)
..。
所以我打开了zeppelin文件夹中的所有文件
我尝试用cmd在D:\zeppelin-0.8.1-bin-all\int
浏览 2提问于2019-05-27得票数 0
我有下面的代码：
from pyspark.sql.functions import lit
from pyspark.sql.functions import UserDefinedFunction
def aa(a, b):
if (a == 1):
return 3
else:
return 6
example_dataframe = sqlContext.createDataFrame([(1, 1), (2, 2)], ['a', 'b'])
example_dataframe.show()
af =
浏览 1提问于2017-07-18得票数 0
回答已采纳
1回答
我已经安装了Zepplein 0.158。
解释器UI和zeppelin-env.sh中的spark.scheduler.pool=test。
在解释器UI和zeppelin-env.sh中的zeppelin.spark.concurrentSQL=false，如果这是真的，spark-sql作业被分配到公平池。
我希望我的作业针对我在Spark中创建的测试池运行。
浏览 0提问于2017-02-23得票数 0
1回答
我正在运行以下程序：-星火独立集群(预构建：) - Zeppelin 0.5.0 (标记：) -OracleJDK8u66
我可以从任何一台星火集群机器启动一个火花外壳。
我安装了齐柏林飞艇，如下所示()：
git clone https://github.com/apache/incubator-zeppelin zeppelin
cd zeppelin
git checkout tags/v0.5.0
mvn install -DskipTests -Dspark.version=1.5.1 -Dhadoop.version=2.6.0
我已经将zeppelin-env.sh配置为：
ex
浏览 4提问于2015-11-09得票数 0
我在库伯奈特的一个港口运行火星雨。我正试图转发到我的本地机器。我在执行python文件时得到了这个错误。
Forwarding from 127.0.0.1:7077 -> 7077
Forwarding from [::1]:7077 -> 7077
Handling connection for 7077
E0401 01:08:11.964798 20399 portforward.go:400] an error occurred forwarding 7077 -> 7077: error forwarding port 7077 to pod 68ced395
浏览 1提问于2019-04-01得票数 17
我是spark/zeppelin的新手，我想完成一个简单的练习，我将把一个csv文件从熊猫转换成Spark数据帧，然后注册表格，用sql查询它，并用Zeppelin可视化它。
但我似乎在最后一步失败了。
我使用的是Spark 1.6.1
下面是我的代码：
%pyspark
spark_clean_df.registerTempTable("table1")
print spark_clean_df.dtypes
print sqlContext.sql("select count(*) from table1").collect()
下面是输出：
[('
浏览 1提问于2016-06-02得票数 7
我正在尝试在Docker上使用Zeppelin设置Spark开发环境，但我在连接Zeppelin和Spark容器时遇到了问题。
我正在使用当前的docker-compose部署Docker Stack
version: '3'
services:
spark-master:
image: gettyimages/spark
command: bin/spark-class org.apache.spark.deploy.master.Master -h spark-master
hostname: spark-master
environm
浏览 3提问于2019-08-24得票数 2
hiveserver2的堆使用率在不断增加(第一张图)。与hive相关的应用有nifi、zeppelin、spark等。Nifi使用puthivesql，zeppelin使用jdbc(hive)，spark使用spark-sql。我找不到任何线索。
浏览 0提问于2018-12-12得票数 0
我在试着把齐柏林飞艇和Highchars.
%spark
import com.knockdata.zeppelin.highcharts._
import com.knockdata.zeppelin.highcharts.model._
import sqlContext.implicits._
val Tokyo = Seq(7.0, 6.9, 9.5, 14.5, 18.2, 21.5, 25.2, 26.5, 23.3,
18.3, 13.9, 9.6).map(("Tokyo", _))
val df = (Tokyo).toDF("city
浏览 12提问于2016-08-23得票数 0
我尝试使用以下函数将一个列'eventtimestamp‘映射到它的星期几：
from datetime import datetime
import calendar
from pyspark.sql.functions import UserDefinedFunction as udf
def toWeekDay(x):
v = int(datetime.strptime(str(x),'%Y-%m-%d %H:%M:%S').strftime('%w'))
if v == 0:
v = 6
else:
浏览 19提问于2017-07-20得票数 0
回答已采纳
我已经安装了Zeppelin 0.7.1。当我尝试执行示例spark程序(在Zeppelin Tutorial notebook中提供)时，我得到了以下错误
java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
at org.apache.zeppelin.spark.SparkInterpreter.create
浏览 2提问于2017-04-08得票数 17
我一直试图在库伯内特斯集群上集成齐柏林飞艇上的火花解释器(v0.7.3)。但是，在服务器上使用k8s版本1.13.10是一个复杂的问题，
我需要将我的星星之火k8s-client升级到v4.6.1，如下所示，
但是，当我尝试在齐柏林飞艇-ui上执行spark命令sc.version时，我得到：
ERROR [2019-10-25 03:45:35,430] ({pool-2-thread-4} Job.java[run]:181) - Job failed
java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.in
浏览 1提问于2019-10-29得票数 1
回答已采纳
无法在Zeppelin中使用spark解释器运行配置单元查询。
我能够加载配置单元上下文。配置单元表正在使用org.apache.hive.hcatalog.data.JsonSerDe。但是查询总是返回：classNotFoundException org.apache.hive.hcatalog.data.JsonSerDe。
我在spark配置中添加了spark.executor.extraClassPath和spark.driver.extraClassPath。
我也尝试过复制/interpreter/spark/dep文件夹中的jar，但没有成功。
我在Zeppelin解释器配置中
浏览 4提问于2016-12-25得票数 1
我已经成功地使用Spark配置了齐柏林飞艇。然而，我想使用多租户，为此我想用Livy和Spark配置Zeppelin。
对于Livy，我提供了以下两条路径
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
我可以在Zeppelin中成功运行以下命令：
%livy.spark
sc.version
但是，以下命令会失败：
%livy.sql
select * from myDB.table1
我看到以下错误：
<console>:14: error
浏览 2提问于2017-01-12得票数 1
使用来自主下载的Zeppelin 0.7.2二进制文件和Spark2.1.0w/Hadoop2.6，以下段落如下：
val df = spark.read.parquet(DATA_URL).filter(FILTER_STRING).na.fill("")
产生以下情况：
java.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class;
at com.fasterxml.jackson.mo
浏览 5提问于2017-08-04得票数 3
回答已采纳
我正在开发一个领域特定语言的自定义解释器。根据Apache Zeppelin文档()中给出的示例，这个解释器工作得很好。现在我想在一个新的DataFrame中存储一些结果。
我找到了创建DataFrames ()的代码，但我不能在我的解释器中使用它，因为我基本上找不到从我的自定义解释器中访问有效的运行时SparkContext (通常称为"sc")的方法。
我尝试了(静态) SparkContext.getOrCreate()，但这甚至导致了一个ClassNotFoundException。然后我将整个zeppelin-spark-dependencies...jar添加到我的
浏览 2提问于2016-05-08得票数 3
在Ubuntu 14上成功构建apache zepellin后，我启动zeppelin，它显示已成功启动，但当我转到localhost:8080时，Firefox显示unable to connect错误，就像它没有启动一样，但当我从终端检查Zeppelin状态时，它显示正在运行，而且我还复制了配置文件模板，因此配置文件是默认的
更新
将端口更改为8090，这是配置文件，但结果没有变化
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.x
浏览 3提问于2015-06-24得票数 2
我使用的是带有Spark1.3.1和Hadoop版本2.6的Zeppelin笔记本。我能够运行它附带的整个教程，没有任何问题。
然后，我创建了新的notebook来运行简单的代码，这些代码从存储在本地机器上的HDFS中的parquet文件中获取数据。代码如下：
val param_alarms = sqlc.parquetFile("hdfs://localhost/ge_alarm/alarm_param")
param_alarms.registerTempTable("Alarm")
param_alarms.count()
此操作失败，并显示以下错误消息
浏览 0提问于2015-06-24得票数 2
我想分享我在EC2上设置齐柏林飞艇服务器的经验，并将其连接到电子病历以利用其计算能力。
Zeppelin 0.7.3与spark 2.3.0不兼容，但当您通过向导选项设置EMR时，您可以将两者放在一起。在这里，我想下载并安装zeppelin 0.7.3以及spark 2.2.1，以便能够将其连接到EMR 5.11.0。
主要步骤记录在此链接中：
然而，本教程是针对旧版本的zeppelin和spark的，它们工作得很好，但当涉及到spark和zeppelin的新版本时，事情就有点棘手了。我尝试在齐柏林飞艇0.7.3和spark 2.2.1中遵循相同的步骤，但当我在齐柏林飞艇控制台中尝试sc.ve
浏览 4提问于2018-08-17得票数 2
回答已采纳
1回答
我已经安装了Hortonworks hdp3.0并配置了齐柏林飞艇。
当我运行spark或sql时，Zeppelin只向我显示默认数据库(这是Spark的默认数据库，它的位置为‘/app/spark/仓库’，而不是Hive的默认数据库)。这可能是因为hive.metastore.warehouse.dir属性不是从hive-site.xml设置的，而zeppelin是从Spark (spark.sql.warehouse.dir)中选择的。
我也遇到了类似的问题，这是由于闪烁-conf dir上的hive-site.xml文件，所以我能够通过将hive-site.xml从hive-conf d
浏览 1提问于2018-09-14得票数 0
回答已采纳
我曾经使用过Datapoc(图像版本1.1)和Zeppelin 0.62来创建存储在Google Cloud Bucket中的hive表。现在，我通过遵循创建了另一个使用Zeppelin0.71的DataProc1.2版。一旦每个外部组件( MySQL服务器上的配置单元元存储、齐柏林飞艇)完全初始化，我使用以下命令查询所有配置单元表
%sql
show tables
但未返回从以前版本的Dataproc创建的表。我重新检查了zeppelin.sh和cloud-sql-proxy.sh的初始化脚本，它们是正确的。然后我重新检查了hive.metastore.warehouse.dir的值，它与
浏览 2提问于2017-08-25得票数 2
1回答
错误
、
我已经启动了apache，并在配置好的端口中成功运行。当我执行简单的星火命令时，例如
sc.version
println(zeppelin)
我只能在运行按钮附近看到" error“字符串，而控制台上没有任何错误输出。
我的错误日志：
错误 -作业失败org.apache.spark.SparkException:找到spark.driver.extraClassPath和SPARK_CLASSPATH。只使用前者。在org.apache.spark.SparkConf$$anonfun$validateSettings$7$$anonfun$apply$8.apply(Spark
浏览 1提问于2016-10-21得票数 2
4回答
我想在齐柏林飞艇上使用蟒蛇。
因此，我修改了/zeppelin/conf/zeppelin-env.sh中的配置文件，如下所示。
export SPARK_HOME=/home/jin/spark
export PYTHONPATH=/home/jin/anaconda3/bin/python
export PYSPARK_PYTHON=/home/jin/spark/python
因为我认为当我修改PYTHONPATH时，我可以使用anaconda版本。
https://zeppelin.apache.org/docs/0.6.2/interpreter/python.html
Path
浏览 0提问于2017-02-23得票数 4
我在一个excel电子表格中有一个大约12,000个用户id的列表，我想把它们插入到SQL的临时表中。我知道在SQL Server中有很多不同的方法可以做到这一点，但我在Zeppelin /Apache Spark SQL中工作，我不熟悉一种快速的方法。
excel数据如下所示：
userid
014
020
055
101
151
175
...
12000
我试着这样做：
CREATE TABLE user.temp_excel_import (userid string)
..。
INSERT INTO TABLE user.temp_excel_import
VALUES
('
浏览 1提问于2019-11-20得票数 1
2回答
我正在尝试从笔记本连接到MySQL实例.将mysql连接器加载到此位置- /usr/lib/spark/jars/mysql-connector-java-5.0.4-bin.jar。并在齐柏林飞艇翻译中添加了这件艺术品。
启动司机，
Class.forName("com.mysql.jdbc.Driver")
res77: Class_ = com.mysql.jdbc.Driver类
在这里使用Scala代码，
审判1，
val jdbcDF = spark.read.format("jdbc").options(
Map("url" -
浏览 7提问于2018-05-29得票数 3
回答已采纳
我不能从zeppelin向spark类路径添加自定义依赖项。 环境: AWS EMR: Zeppelin 0.8.0，Spark 2.4.0 spark解释器的额外配置： spark.jars.ivySettings /tmp/ivy-settings.xml
spark.jars.packages my-group-name:artifact_2.11:version 来自my-group-name的文件出现在 spark.yarn.dist.jars
spark.yarn.secondary.jars 但不能通过齐柏林飞艇笔记本访问(由import my.lab._检查) 但是，当我为
浏览 23提问于2019-03-21得票数 0
我已经使用Spark和Zeppelin设置了一个AWS EMR，并使用AWS Glue目录作为Hive的转储。我使用了这个指令：
看起来EMR集群和Zeppeling正在工作。
当我运行以下段落时：
%sql
show databases
它可以工作并输出我在Glue中设置的数据库。
但是，当我尝试查询任何表时，使用这种方式：
%sql
select * from `fus-bear-parquet-db-prod`.fus_bear_parquet_prod limit 10
我得到了以下异常：
java.lang.NullPointerException: Name is null
at
浏览 0提问于2018-02-16得票数 5
1回答
我正在尝试使用Apache上的图形框架库，并使用Spark (吡火花)解释器，但是，每当我试图使用ModuleNotFoundError: No module named 'graphframes'导入图形帧模块时，我都会继续获取错误：from graphframes import *。
我尝试在zeppelin-env.sh文件中添加--packages 'graphframes:graphframes:0.7.0-spark2.4-s_2.11'指令，尝试使用z.load('graphframes:graphframes:0.7.0-spark2.4
浏览 0提问于2019-06-01得票数 2
回答已采纳
我正在尝试使用Zeppelin笔记本中的Spark将数据从SQL服务器拉入Hive表。
我正在尝试运行以下代码：
%pyspark
from pyspark import SparkContext
from pyspark.sql import SparkSession
from pyspark.sql.dataframe import DataFrame
from pyspark.sql.functions import *
spark = SparkSession.builder \
.appName('sample') \
.getOrCreate()
#set ur
浏览 65提问于2018-08-28得票数 2
回答已采纳
2回答
我正在使用HDP-2.6.0.3，但我需要齐柏林飞艇0.8，所以我已经安装了一个独立的服务。当我跑步时：
%sql
show tables
在运行Spark2 SQL命令时，我什么也得不到，也得不到“表未找到”。表可以看到0.7齐柏林飞艇，这是HDP的一部分。
有人能告诉我我错过了什么吗，让齐柏林飞艇/星火看到蜂巢？
创建zep0.8的步骤如下：
maven clean package -DskipTests -Pspark-2.1 -Phadoop-2.7-Dhadoop.version=2.7.3 -Pyarn -Ppyspark -Psparkr -Pr -Pscala-2.11
将z
浏览 3提问于2017-10-18得票数 12
1回答
我安装了齐柏林飞艇。除了我试图导入一个蜂箱上下文之外，一切都在正常工作。
我在齐柏林飞艇的配置：
System.getenv().get("MASTER")
System.getenv().get("SPARK_YARN_JAR")
System.getenv().get("HADOOP_CONF_DIR")
System.getenv().get("JAVA_HOME")
System.getenv().get("SPARK_HOME")
System.getenv().get("PYSPARK_PYTH
浏览 2提问于2016-01-12得票数 1
回答已采纳
我导出了环境变量(PYTHON、SPARK、ZEPELLIN)。我看了看Setting environment variables on OS。 我想运行Apache Zeppelin笔记本。 grep -E "^setenv" /etc/launchd.conf | xargs -t -L 1 launchctl
launchctl setenv JAVA_HOME /Library/java/JavaVirtualMachines/adoptopenjdk-8.jdk/contents/Home/
launchctl setenv JRE_HOME /Library/ja
浏览 20提问于2020-07-08得票数 0
1回答
我正在使用Zeppelin-Sandbox 0.5.6和Spark 1.6.1在Amazon EMR上。我正在读取位于csv上的s3文件。问题是，有时我在读取文件时出错。我需要重新启动几次解释器，直到它工作为止。我的代码中没有任何变化。我无法恢复它，也无法判断它何时发生。
我的代码如下：
定义依赖关系：
%dep
z.reset()
z.addRepo("Spark Packages Repo").url("http://dl.bintray.com/spark-packages/maven")
z.load("com.databricks:spark-
浏览 1提问于2016-06-21得票数 0
这个简单的PySpark片段在正常的spark-submit中运行良好，但在cast调用中使用Apache Zeppelin失败。有什么想法吗？
%pyspark
import pyspark.sql.functions as spark_functions
col1 = spark_functions.lit(None)
print("type(col1)={}".format(type(col1)))
col2 = col1.cast(StringType())
错误是：
Traceback (most recent call last):
File "/tm
浏览 10提问于2016-08-30得票数 1
回答已采纳
在办公室，我们使用Zeppelin笔记本电脑，默认的解释器是Spark。大多数时候我使用的是Spark SQL。下面是一个简单的例子：
%SQL
select * from db.table1
如何使Spark SQL成为默认解释器，这样我就不必在每个单元格中编写%SQL？
浏览 1提问于2017-12-04得票数 0
我需要用Zeppelin构建一个解析解决方案，读取来自Oracle、Hadoop、hbase的数据，现在我需要通过zeepelin火花解释器将分析结果保存到Hbase，我编写了一个演示代码，这个演示程序在spark开发环境中工作，但在zeppelin中没有工作。
有人能帮帮我吗谢谢。
%spark
import org.apache.spark.sql.{DataFrame, Row, SQLContext}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.client.Put
import o
浏览 0提问于2018-03-23得票数 0
回答已采纳
我使用的是zeppelin版本0.8.0，mongodb 4.0，spark 2.2.0，mongospark连接器2.2.4，mongo java驱动程序3.8
sc.version
import com.mongodb.spark.MongoSpark
import com.mongodb.spark.config.{ReadConfig, WriteConfig}
import com.mongodb.spark.sql._
import org.apache.spark.sql.functions._
import
浏览 1提问于2018-08-10得票数 1
回答已采纳
1回答
我试图获取startDate和endDate之间的文件列表，并从以下文件夹读取这些文件：
例如，我的文件结构如下所示:BucketName/年份/月/日/文件
s3://testBucket/2016/10/16/part00000
这些文件都是麻烦事。问题是，我需要加载starDate和结束日期之间的所有路径：
随着开始日期(2016年10月16日)和结束日期(2016年9月16日)，我想阅读从2016年9月16日(包括) ....to .2016年10月16日(包括)
import org.joda.time.Days
import org.joda.time.Dur
浏览 0提问于2016-10-16得票数 1
回答已采纳
3回答
创建了一个已注册的测试表
case class Test(a:String, b:Integer)
test_df = Array(Test(51550,10), Test(51550,10), Test(51550,10), Test(51550,10), Test(51550,20), Test(51550,20), Test(51550,20), Test(51550,20), Test(51550,16))
sc.parallelize(test_df).toDF().registerTempTable("test")
以下查询成功。
sqlContext.sql(&#
浏览 4提问于2016-03-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
