首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Hadoop在工程中的实际应用

Hadoop在工程中的实际应用
EN

Stack Overflow用户
提问于 2016-07-08 13:01:48
回答 1查看 290关注 0票数 0

我将在我的新项目中使用Hadoop。项目概念如下所示:

用户拥有产生某些数据(日志)的设备。用户可以以文件的形式从设备获取数据,并将其上传到web应用程序/hadoop。我将使用构建web应用程序。

我知道Hadoop的一些基础知识(HDFS、Mappers、减速器),但我不知道如何实际使用Hadoop。该项目现在只是一个概念,因为我想先得到一些提示,然后调整项目的组成部分收集提示。

我的主要考虑是:

  1. Web应用程序应该存储在与Hadoop相同的位置?(同一服务器/云/服务提供者)
  2. 如何上传文件?可以在web应用程序表单中上传文件吗?还是最好创建桌面应用程序来上传文件(可能的文件大小:100 1GB 1GB)?
  3. 如果是桌面应用程序,最好直接将数据发送到Hadoop,或者以某种方式通过web应用程序发送数据。
  4. 你能告诉我一些有用的框架/工具/API/资源从外部资源(我的web应用程序或桌面应用程序)上传吗?
  5. 如何正确地使用Hadoop数据?让我们假设用户的文件来自Hadoop。我知道我可以在这个文件上运行Mappers和减法器--什么会产生输出文件(或者把一些数据放到HBase上--我说得对吗?)要获得这些数据,我需要适当的输出文件或从HBase获得一些“选择”,对吗?当工作完成后,Hadoop是否包含向外部web应用发送信息的触发器?

我很欣赏这个话题中的每一个提示。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-07-08 13:23:00

  1. 不要在同一台机器上运行您的webapp。最好为Hadoop集群使用专用容器机。
  2. HDFS (Hadoop文件系统)有一个可读、可写的API。例如,有一个WebHDFS
  3. 发送您的web应用程序总是更好,因为这样您就可以正确地验证客户端。
  4. 我不明白这个。在我看来,上传很容易,而且不需要任何库来存档。
  5. 不要直接从HDFS查询数据。然后再把它出口到其他的仓库。如果你坚持直接使用它,就没有什么大问题了。只需使用WebHDFS。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/38267412

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档