腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何从Apache
访问
Hive
表
?
apache-spark
、
hive
、
apache-spark-sql
我已经设置了一个
hive
datamart,并
使用
spark框架来查询
表
和执行ETL活动,现在我希望用户通过从他们
的
本地机器连接来
访问
蜂箱
表
,并且查询应该
使用
spark框架。
浏览 1
提问于2019-04-11
得票数 0
回答已采纳
2
回答
如
何在
使用
pyspark
时
访问
hive
表
中
的
注释
?
python
、
pyspark
当我
使用
pyspark
连接到
hive
时
,我想获取
表
的
注释
,我
使用
了"DESCRIBE table table_name",但它不起作用 .option("password", "password") \
浏览 38
提问于2019-07-16
得票数 0
1
回答
无法通过
PySpark
访问
配置单元
apache-spark
、
hadoop
、
hive
、
pyspark
我是Hadoop/Spark/
Hive
的
新手!我已经创建了一个本地运行
的
单节点linux (Ubuntu 18.04.1 LTS) VM;Hadoop 3.1.0;Spark: Spark 2.3.1,
Hive
:
Hive
-3.0.0 我
的
Hive
使用
标准
的
Derby DB,我可以通过终端
访问
hive
并创建数据库、
表
,然后很好地查询这些
表
。<e
浏览 0
提问于2018-10-04
得票数 1
1
回答
Pyspark
:在远程
Hive
Server中选择数据
python
、
hadoop
、
hive
、
pyspark
尝试读取和写入存储在远程
Hive
Server
中
的
数据。我遵循这个例子:from
pyspark
.sql"spark.sql.warehouse.dir", warehouse_location) \ .getOrCreate() 示例演示如
何在</
浏览 0
提问于2017-09-04
得票数 0
回答已采纳
2
回答
Spark数据库和托管
表
是否持久?
apache-spark
、
pyspark
、
apache-spark-sql
我刚开始读“星火”和“O‘’Reilly”这本书,所以希望我
的
问题是有意义
的
。看起来,在应用程序运行完之后,数据库和托管
表
将持久化。但是,如果我编写了一个试图
访问
托管
表
的
单独应用程序,则会得到一个“
表
不存在”错误。在编写应用程序时,一旦您完成了对表和数据库
的
处理以保持“干净”,那么删除它们是否是一种好
的
做法呢? 有什么方法可以清理外部
表
'learn_spark_db.managed_flights_tbl‘
浏览 2
提问于2021-12-01
得票数 0
5
回答
火花放电查询蜂箱
表
hive
、
pyspark
我正在
使用
CDH5.5
hive
> use default; Time taken: 0.341: 1 row(s) 但是,由于
表
无法识别
表
,所以我无法从
pyspark
查询该
表
。from <em
浏览 14
提问于2016-03-17
得票数 35
1
回答
Spark SQL无法
访问
火花服务器
apache-spark
、
hive
、
pyspark
、
spark-thriftserver
我无法配置Spark以使我能够
访问
中
的
Hive
表
(不
使用
JDBC,而是从Spark本地
访问
)我在启用了./
浏览 0
提问于2019-01-14
得票数 0
1
回答
pyspqrk sql配置单元
表
中
存在错误数据
apache-spark
、
hive
、
pyspark
、
apache-spark-sql
、
pyspark-sql
我正在尝试
使用
Pyspark
中
包含25亿条记录
的
Hive
表
。我假设
表
中有一些格式错误
的
或其他“坏”数据。我
使用
的
是spark版本1.6.2和python版本2.6.6:from
pyspark
.sql import从
Hive
CLI
访问
整个
表</em
浏览 1
提问于2017-01-28
得票数 1
4
回答
将火花数据存储到蜂巢
中
:表格不可读,因为“SequenceFile不是块”
apache-spark
、
hive
、
apache-spark-sql
、
pyspark
我希望
使用
PySpark
将数据保存到一个
Hive
表
中
。指出: from
pyspark
.sql import HiveContext sqlContext = H
浏览 2
提问于2015-07-17
得票数 9
回答已采纳
1
回答
用列列表激发SQL插入选择?
apache-spark
当我阅读Spark/
Hive
文档
时
,将插入到带有列列表
的
表
中
,在Spark2.4和更早版本
中
不支持。insert into outpu
浏览 1
提问于2019-01-09
得票数 4
回答已采纳
1
回答
SparkSql从配置单元
表
中
获取浮点类型字段值null
hive
、
pyspark
、
apache-spark-sql
我
使用
sqoop创建和导入
hive
表
,并
使用
pyspark
获取数据。该
表
由一个字符串字段、一个整型字段和多个浮点型字段组成。我可以通过hue
hive
sql查询获得整个数据。但是,当我
使用
pyspark
sql编程
时
,可以显示非浮点型字段,而浮点型字段总是显示空值。色调配置单元sql结果: zeppelin
pyspark
输出:
hive
表
的
浏览 18
提问于2017-06-29
得票数 0
3
回答
火花弹出蜂箱
表
apache-spark
、
apache-spark-sql
我想把一张蜂箱
的
桌子扔到火花里去。 在一个包含Hadoop2.6、
Hive
2.0、Spark1.6和Spark2.0
的
集群
中
。我尝试了下面的代码,在火花公子外壳和火花提交作业与这两个版本。但是,如果代码位于python文件
中
,然后
使用
submit提交到集群
中
,那么代码就不会生效。怎样才是正确
的
方法,把一个蜂箱
表
通过火花?在
使用
上述代码提交
的
作业
中
。我发现
的
一个解决
浏览 5
提问于2016-09-30
得票数 8
1
回答
皮斯卡尔:远程蜂巢仓库位置
hadoop
、
docker
、
hive
、
pyspark
、
hadoop2
我需要读/写存储在远程
Hive
中
的
表
。我只知道这个远程蜂巢是在码头下运行
的
。在讨论如何
访问
Hive
表
时
,
Pyspark
教程写道: 在
使用
Hive
时
,必须
使用
Hive
支持实例化SparkSession,包括连接到持久
的
Hive
转移、支持
Hive
serdes和<e
浏览 3
提问于2017-09-05
得票数 2
4
回答
火花可以从火星雨
访问
蜂巢
表
,但不能从火花提交。
python
、
hadoop
、
apache-spark
、
pyspark
因此,当从
pyspark
运行时,我会输入(没有指定任何上下文):spark-submit script.py --我将以下内容放入from
pyspark
import SparkConf, SparkContext conf
浏览 2
提问于2016-04-01
得票数 18
回答已采纳
1
回答
使用
Pyspark
读取拼图和ORC HDFS文件
pyspark
我用"Org.apache.hadoop.
hive
.ql.io.parquet.serde.MapredParquetInputFormat“格式创建了我
的
配置单元外部
表
,输出格式:"Org.apache.hadoop.
hive
.ql.io.parquet.serde.MapredParquetOutputFormat如何
使用
Pyspark
从hdfs读取这些配置单元
表
文件?
浏览 35
提问于2021-07-09
得票数 0
1
回答
在路径
中
具有特殊字符
的
星火sql加载parqet
sql
、
pyspark
、
hive
我正在
使用
pyspark
将文件加载到下面的
表
中
pyspark
.sql.utils.AnalysisException:当路径字符串在目录结构(
如
XX/XX/2021-03-02T20:04:27+00:
浏览 1
提问于2021-04-23
得票数 0
2
回答
PySpark
/
HIVE
:追加到现有
表
中
python
、
apache-spark
、
hive
、
pyspark
真正基本
的
问题
pyspark
/
hive
问题:from
pyspark
import SparkContext, SparkConfconf_init = SparkConf().setAppName('
pyspark
2')<
浏览 0
提问于2017-11-30
得票数 2
回答已采纳
1
回答
如何使火花放电和SparkSQL在星火上执行蜂巢?
python
、
apache-spark
、
pyspark
、
hive
、
apache-spark-sql
通过
使用
spark-shell /
pyspark
,我还遵循并实现了创建
Hive
表
,加载数据,然后正确选择。目前我还无法完成
的
步骤是将<em
浏览 0
提问于2020-02-23
得票数 0
回答已采纳
2
回答
Python Spark查询配置单元仅返回架构
python
、
apache-spark
、
hadoop
、
hive
、
pyspark
当我从
Hive
中选择data
时
,它会返回一个dataframe,但我不能
访问
模式以外
的
任何内容。")data.show()<class '
pyspark
.sql.dataframe.DataFrame'> 如果我试图显示数据帧,它会返回一个引用
浏览 1
提问于2018-04-19
得票数 0
1
回答
Hadoop 3和spark.sql:同时
使用
HiveWarehouseSession和spark.sql
apache-spark
、
hadoop
、
hive
、
pyspark
、
pyspark-sql
在此之前,我可以完全在spark.sql api
中
工作,以便与蜂巢
表
和火花数据帧进行交互。我可以查询
使用
同一个api注册
的
spark或
hive
表
中
的
视图。我想确认一下,用Hadoop3.1和
pyspark
2.3.2已经不可能了?要对蜂窝
表
执行任何操作,必须
使用
“HiveWarehouseSession”api,而不是spark.sql api。,您可以
使用
JDBC风格
的<
浏览 0
提问于2019-08-29
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
从入门到精通-Fayson带你玩转CDH
Hive架构和工作原理
Hive 3的ACID表
半小时搭建 spark 应用
Spark SQL,DataFrames 以及 Datasets 编程指南
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券