【工具】大数据在线分析利器:Hue

Hue百科:

Hue 是一种基于Apche hadoop基础平台的在线开源数据分析接口,参见 gethue.com

Hue的主要功能:

  • 提供SQL 接口:Hive, Impala, MySql, PostGres, Sqlite and Oracle ;
  • 提供Solr动态查询面板;
  • 提供Spark 编辑器;
  • 提供浏览界面:YARN, HDFS, Hive table Metastore, HBase, ZooKeeper;
  • 提供 Sqoop2编辑器、 Oozie 流编辑器和控制面板;
  • 提供Hadoop数据加载向导;

除此,它还提供一个创建hadoop应用的SDK,更多开发文档在 gethue.com

如何开始?

首先建立服务器运行环境:

$ git clone https://github.com/cloudera/hue.git
$ cd hue
$ make apps
$ build/env/bin/hue runserver

现在Hue已经运行在本地 http://localhost:8000 !

开发配置文件是 desktop/conf/pseudo-distributed.ini.

接下来启动生产环境:

$ build/env/bin/supervisor

启动测试:

安装最小集群 (仅一次):

$ ./tools/jenkins/jenkins.sh slow

开始全部测试:

$ build/env/bin/hue test all

或者逐项测试,如:

$ build/env/bin/hue test specific impala
$ build/env/bin/hue test specific impala.tests:TestMockedImpala
$ build/env/bin/hue test specific impala.tests:TestMockedImpala.test_basic_flow

开发环境需求

你的系统里需要安装和运行如下的程序包和工具:

Ubuntu:

  • ant
  • gcc
  • g++
  • libkrb5-dev
  • libmysqlclient-dev
  • libssl-dev
  • libsasl2-dev
  • libsasl2-modules-gssapi-mit
  • libsqlite3-dev
  • libtidy-0.99-0 (for unit tests only)
  • libxml2-dev
  • libxslt-dev
  • make
  • mvn (from maven package or maven3 tarball)
  • openldap-dev / libldap2-dev
  • python-dev
  • python-setuptools
  • libgmp3-dev

CentOS/RHEL:

  • ant
  • asciidoc
  • cyrus-sasl-devel
  • cyrus-sasl-gssapi
  • gcc
  • gcc-c++
  • krb5-devel
  • libtidy (for unit tests only)
  • libxml2-devel
  • libxslt-devel
  • make
  • mvn (from maven package or maven3 tarball)
  • mysql
  • mysql-devel
  • openldap-devel
  • python-devel
  • sqlite-devel
  • openssl-devel (for version 7+)
  • gmp-devel

MacOS:

  • Xcode command line tools
  • Oracle’s JDK 1.7+
  • maven (Homebrew)
  • mysql (Homebrew)
  • gmp (Homebrew)
  • openssl (Homebrew)
  • Required for Mac OS X 10.11+ (El Capitan), after brew install openssl, run: export LDFLAGS=-L/usr/local/opt/openssl/lib && export CPPFLAGS=-I/usr/local/opt/openssl/include

文件列表

Hue的框架文件在 desktop/core里 ,其中含有web组件;destop/libs是Hadoop服务API接口;可以运行的APP在apps/里;第三方独立应用可以放置在ext-py/目录下。

一个应用的典型目录结构如下:

  src/
    for Python/Django code
      models.py
      urls.py
      views.py
      forms.py
      settings.py

  conf/
    for configuration (``.ini``) files to be installed

  static/
    for static HTML/js resources and help doc

  templates/
    for data to be put through a template engine

  locales/
    for localizations in multiple languages

For the URLs within your application, you should make your own urls.py which will be automatically rooted at /yourappname/in the global namespace. See apps/about/src/about/urls.py for an example.

你可以通过ulrs.py声明你自己应用的URL地址,这些URL地址通过全局命名里的/yourappname/自动被root,更多例子请参考apps/about/src/about/urls.py

代码栈

Hue 的代码栈如下:

  • Python 2.6.5 – 2.7
  • Django 1.6 (https://docs.djangoproject.com/en/1.6/)
  • Knockout.js (http://knockoutjs.com/)
  • jQuery (http://jquery.com/)
  • Bootstrap (http://getbootstrap.com/)

Hue 社区

  • User group: http://groups.google.com/a/cloudera.org/group/hue-user
  • Jira: https://issues.cloudera.org/browse/HUE
  • Reviews: https://review.cloudera.org/dashboard/?view=to-group&group=hue (repo ‘hue-rw’)

License 规范

Apache License, Version 2.0 http://www.apache.org/licenses/LICENSE-2.0

PPV课翻译小组作品, 未经许可严禁转载

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2016-05-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏拂晓风起

nodejs搭配phantomjs highcharts后台生成图表

1713
来自专栏Hadoop实操

使用命令行创建collection时Sentry给Solr赋权的问题

3323
来自专栏Hadoop实操

如何在CDH未启用认证的情况下安装及使用Sentry

CDH平台中的安全,认证(Kerberos/LDAP)是第一步,授权(Sentry)是第二步。如果要启用授权,必须先启用认证。但在CDH平台中给出了一种测试模式...

2.4K8
来自专栏Hadoop实操

如何使用Sentry为Solr赋权

1682
来自专栏JavaEE

springboot快速入门前言:一、springboot简介:二、springboot常用知识点:总结:

正所谓,天下武功,唯快不破,在当今生活节奏越来越快的时代,我们也要讲求效率,也要追求一个快字(不过有些方面还是不能快的,不要当快男哦)。springboot就是...

1031
来自专栏SpringBoot 核心技术

第三十九章:基于SpringBoot & Quartz完成定时任务分布式单节点持久化

65210
来自专栏Hadoop实操

如何在Redhat7.4安装CDH6.0.0_beta1

7642
来自专栏Hadoop实操

如何在Redhat7.4安装CDH6.0

Cloudera在前天8月30日,对外宣布正式发布Cloudera Enterprise 6,相关介绍可以参考Fayson昨天的文章《Cloudera Ente...

1.7K6
来自专栏Hadoop实操

Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析

在使用Hue创建Ssh的Oozie工作流,在Shell脚本中执行sudo命令失败,异常如下:

4565
来自专栏菩提树下的杨过

spring-boot 速成(1) helloworld

一、mac上安装 $ brew tap pivotal/tap $ brew install springboot 安装成功后,可在终端查看命令行 ➜  ~ s...

2265

扫码关注云+社区

领取腾讯云代金券