腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
不
安装
Hadoop
和
设置
DLL
库
的
情况下
将
数据
加
载到
s3
java
、
amazon-web-services
、
hadoop
、
amazon-s3
、
parquet
如
何在
不
安装
Hadoop
和
不
设置
dll
库
的
情况下
,在不使用
HADOOP
_HOME
的
情况下
将
地块
数据
加
载到
s3
中 在java项目中需要使用什么样
的
依赖关系?现在我用 org.apache.
hadoop
-
hadoop
-common 3.2.1
浏览 10
提问于2020-04-15
得票数 1
1
回答
从芹菜气流工人直接进口到
S3
桶
hadoop
、
amazon-s3
、
airflow
、
amazon-emr
、
sqoop
我
的
大
数据
基础设施包含气流
和
EMR,它们在两个独立
的
集群中运行。当前
的
数据
ETL步骤如下, Sqoop
数据
到气流工作者(
Hadoop
2.7
安装
在伪分布式模式下)Sync
数据
到S3Access data on
S3
使用Spark (EMR运行
hadoop
3.2.1)为了简化ETL过程,我觉得第二步完全没有必要,应该可以通过sqoop
将
数据
直接加<
浏览 4
提问于2021-10-28
得票数 3
7
回答
如何
将
Parquet文件读入Pandas DataFrame?
python
、
pandas
、
dataframe
、
parquet
、
blaze
如
何在
不
设置
集群计算基础设施(
如
Hadoop
或Spark )
的
情况下
,
将
适度大小
的
Parquet
数据
集读入内存中
的
Pandas DataFrame?这只是我想在内存中阅读
的
少量
数据
--在笔记本电脑上使用一个简单
的
Python脚本。
数据
不
驻留在HDFS上。它要么在本地文件系统上,要么在
S3
中。我
浏览 22
提问于2015-11-19
得票数 146
回答已采纳
1
回答
S3
环境下电子病历集群中
的
问题解读
java
、
amazon-web-services
、
apache-spark
、
amazon-s3
、
amazon-emr
我正在开发一个关于Java
的
应用程序。生成并成功地
将
.jar加
载到
EMR集群。")); 不起作用。谢谢你能提供<em
浏览 0
提问于2019-12-11
得票数 0
回答已采纳
3
回答
UnsatisfiedLinkError (NativeIO$Windows.access0)
将
mapreduce作业从windows提交给
Hadoop
2.2到ubuntu
java
、
windows
、
ubuntu
、
hadoop
我
将
运行在windows上
的
java应用程序
的
mapreduce作业提交给运行在ubuntu上
的
Hadoop
2.2集群。在
Hadoop
1.x中,这与预期一样有效,但在
Hadoop
2.2中,我得到了一个奇怪
的
错误: org.apache.
hadoop
.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z :java.lang.UnsatisfiedLin
浏览 3
提问于2013-12-14
得票数 13
12
回答
如果没有
hadoop
,apache能运行吗?
hadoop
、
amazon-s3
、
apache-spark
、
mapreduce
、
mesos
火花
和
Hadoop
之间有依赖关系吗? 如果没有,那么当我运行而没有
Hadoop
时,是否会忽略一些特性?
浏览 10
提问于2015-08-15
得票数 119
回答已采纳
3
回答
与在Amazon EMR上运行配置单元/Sqoop相关
的
查询?
java
、
amazon-s3
、
hive
、
amazon-emr
、
sqoop
我
的
用例:1)电子病历使用
Hadoop
存储桶,它保存输入
和
输出
数据
S3
处理(以对象
的
形式)。->我不知道如
何在
S3
上以对象
的
形式存储
数据<
浏览 2
提问于2012-04-23
得票数 1
回答已采纳
3
回答
在没有
数据
库
的
情况下
验证PostgreSQL用户
和
密码
validation
、
postgresql
、
authentication
、
passwords
如
何在
没有
数据
库
的
情况下
验证postgresql用户
和
密码是否有效?
设置
口令后,什么命令可以验证用户
和</
浏览 0
提问于2013-04-10
得票数 3
2
回答
EMR + Spark + KMS -保存解密
数据
pyspark
、
amazon-emr
、
aws-kms
我们正在使用spark处理EMR中
的
KMS客户端加密
数据
。我可以使用以下配置成功处理加密
数据
,但即使是写入
s3
的
聚合
数据
也是加密
的
。有没有办法在启用这些
设置
的
情况下
将
未加密
的
数据
写入
s3
?如果没有,我们如
何在
将其加
载到
RDS中进行报告之前对其进行解密? sc._jsc.hadoopConfiguration()
浏览 4
提问于2018-06-02
得票数 0
2
回答
加载或指向多个拼板路径,用于用蜂巢或预存储程序进行
数据
分析
amazon-s3
、
apache-spark
、
hive
、
parquet
、
presto
因为日期
的
每一天都有多个文件在路径下,
如
因此,问题之一是如何
将
多天
的
数据
加
载到
蜂箱中。我知道hive可以支持分区,但是我
的
s3
文件不是这样
设置
的
。 我还研究了,它似乎是这类
数据
分析最喜欢
的
工具。事实上,它支持ans
浏览 5
提问于2016-04-14
得票数 2
2
回答
我在哪里可以找到EC2上
的
AMI for
Hadoop
?
linux
、
hadoop
、
amazon-web-services
、
amazon-ec2
、
bioinformatics
我正在尝试在亚马逊EC2上永久
设置
Hadoop
。目前我正在做
的
是每天早上启动EC2实例并
设置
Hadoop
。有什么方法可以避免这个繁琐
的
步骤吗?我正在寻找一个
Hadoop
镜像,可以加
载到
EC2上,让事情变得容易。 我知道我可以
将
EMR用于
hadoop
服务。但我不知道如
何在
不提交作业流
的
情况下
启动EMR (
hadoop
)集群。我
的
意
浏览 3
提问于2013-10-09
得票数 0
1
回答
“为ApacheHadoop2.7及更高版本预先构建”意味着什么?
apache-spark
在Apache
的
下载页面上,“为ApacheHadoop2.7及更高版本预构建”意味着什么? 这是否意味着HDFS必需
的
库
?如果是这样的话,其他存储系统
如
Cassandra、
s3
、HBase、SQL
数据
库
、NoSQL
数据
库
又如何呢?我们是否需要下载任何
库
来连接到其他存储系统。
浏览 4
提问于2017-09-14
得票数 7
回答已采纳
1
回答
将
oracle文件(.dmp)文件读入熊猫
数据
python-3.x
、
amazon-web-services
、
dataframe
、
amazon-s3
、
boto3
我有一个testdata.dmp在AWS
s3
桶中可用,并希望
将
数据
加
载到
熊猫dataframe中。为了寻找解决方案,我已经
安装
了boto3。
浏览 3
提问于2020-10-07
得票数 1
1
回答
利用
Hadoop
设计分析系统
hadoop
、
amazon
、
analytics
、
bigdata
、
emr
我刚刚开始了解大
数据
,我对
Hadoop
很感兴趣。我正计划建立一个简单
的
分析系统,以了解在我
的
网站上发生
的
某些事件。因此,我计划使用代码(前端
和
后端)来触发一些事件,这些事件将对消息进行队列(很可能是使用RabbitMQ)。然后,这些消息将由消费者处理,该使用者
将
连续地
将
数据
写入HDFS。然后,我可以在任何时候运行一个地图减少作业来分析当前
的
数据
集。 我倾向于使用Amazon
的
<em
浏览 0
提问于2014-01-10
得票数 0
回答已采纳
3
回答
如
何在
Amazon中
安装
sqoop?
hive
、
sqoop
、
amazon-redshift
、
amazon-emr
Hadoop
发行版:Amazon2.6.0
和
Hive1.0.0。需要
安装
Sqoop以便我可以在Hive
和
Redshift之间进行通信吗?在EMR集群中
安装
Sqoop
的
步骤是什么?请求提供步骤。谢谢!
浏览 5
提问于2015-08-13
得票数 1
回答已采纳
2
回答
在d2.2xlarge上耗尽空间
amazon-web-services
、
emr
我看到
的
是:devtmpfs 30G 92K 30G 1% /dev tmpfs
浏览 2
提问于2017-09-05
得票数 0
回答已采纳
2
回答
处理存储在红移中
的
数据
hadoop
、
apache-spark
、
amazon-redshift
我们目前使用Redshift作为
数据
仓库,我们对此非常满意。然而,我们现在需要对我们仓库中
的
数据
进行机器学习。考虑到所涉及
的
数据
量,理想
情况下
,我希望在与
数据
相同
的
位置运行计算,而不是在
数据
周围移动,但这在Redshift看来是不可能
的
。我目前正在考虑
将
数据
转移到EMR,并使用Apache机器学习
库
(或者H20、Mahout或其他什么)来处理它。所以我
的<
浏览 1
提问于2014-11-12
得票数 3
1
回答
是否可以使用python包使用大容量复制命令加载redshift。我看不出有什么办法
boto
、
amazon-redshift
是否可以使用python包使用大容量复制命令加载redshift。我看不出有什么办法做到这一点。似乎需要一个JDBC客户端。
浏览 1
提问于2014-11-26
得票数 0
1
回答
如
何在
pentaho中访问配置单元表
mongodb
、
hadoop
、
hive
、
pentaho
我是用pentaho
数据
集成4.4.0,并使用mongo
hadoop
连接器,我成功地创建了
hadoop
和
mongo
的
连接。然后我
安装
了hive 0.11.0,使用上面的链接,我成功地创建了hive
和
mongo连接。在我
的
mongo中,包含一个
数据
库
名称,名为pentaho,我在hive name中创建了
数据
库
,作为demo,并使用以下命令创建了新
的
表名为pent
浏览 1
提问于2014-03-03
得票数 0
2
回答
是否有可能更新已经用
S3
编写
的
数据
?
hadoop
、
amazon-s3
、
hdfs
、
rdbms
、
amazon-athena
谢谢你调查我
的
问题。我很感激。 所以我是这个领域
的
新手.然而,我正在考虑用
S3
替换当前使用
Hadoop
的
数据
,但在此之前,我想知道是否有可能更新已经用
S3
编写
的
数据
。
Hadoop
作为HDFS,您只写一次,多次读取,这不允许我更新已经写入
的
数据
。我有一个RDB,我想集成到
Hadoop
中,但是失败了,因为这个RDB需要及时更新。我听说过
S3
,您可以使
浏览 3
提问于2020-09-07
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
c#你喜欢吗?
数据湖和SQL并不矛盾
动态链接库DLL的加载:隐式加载和显式加载
python3,hadoop,spark安装搭建流程小记
使用Ambari搭建Hadoop平台
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券