专栏首页Hadoop实操如何安装SAS并配置连接Hive/Impala

如何安装SAS并配置连接Hive/Impala

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


SAS提供了从基本统计数的计算到各种试验设计的方差分析,相关回归分析以及多变数分析的多种统计分析过程,几乎囊括了所有最新分析方法,其分析技术先进,可靠。分析方法的实现通过过程调用完成。许多过程同时提供了多种算法和选项。Cloudera与SAS是相互认证的合作伙伴,在各自的官网都能找到集成安装的专业文档,也能得到专业的支持。本文主要是介绍如何安装SAS,并连接配置到Hive和Impala。

  • 内容概述

1.SAS的安装与配置

2.SAS连接HDFS和操作

3.SAS连接Hive和操作

4.SAS连接Impala和操作

  • 测试环境

1.CDH5.14.1

2.SAS 9.4

3.客户端Windows 7

2.SAS客户端下载并安装


1.下载SAS客户端安装软件

下载地址:

https://www.sas.com/zh_cn/software/university-edition/download-software.html#windows

(可左右滑动)

根据官网提示说明进行进行下载。

2.双击setup安装程序,安装SAS

选择语言

选择安装SAS软件

指定安装目录,注意安装目录不能含中文

选择部署类型

选择需要安装的产品,全选除”SAS Bridge for Esri”

选择“SAS Enterprise Guide模式”

选择所有的“SAS Foundation产品”

指定SAS安装数据(SID)文件

选择安装语言

语言区域设置

选择“SAS文件类型的默认产品”

指定Internet浏览器

指定SAS/GRAPH Java Applet部署目录

选择SAS PC Files Server系统服务器选项

指定SAS PC Files Server的端口号

输入SAS环境URL地址为:http://localhost:8080/saslogon/sas-environment.xml

指定SAS Document Conversion主机和端口

检查系统

部署汇总

点击“开始”进行部署

安装成功

选择支持项

完成安装

到此为止完成SAS的安装。

3.打开SAS客户端,验证安装模块是否完整。

显示界面如下:

4.运行如下命令可以看到我们安装的模块

proc setinit;run;

注意:在输出的安装模块中必须包含Hadoop,否则无法连接Hadoop集群。检查SID文件是否包含该模块,如果包含Hadoop模块则重新安装Hadoop模块。

3.SAS环境配置


1.配置SAS访问Hadoop的环境变量

将CDH集群/opt/cloudera/parcels/CDH/jars目录下的所有jar包下载至本地

通过ClouderaManager Web界面下载HDFS的客户端配置文件至本地

2.配置SAS客户端上的环境变量

右击计算机→属性→高级系统设置→环境变量

根据我们本地存放的路径,配置如下环境变量:

SAS_HADOOP_CONFIG_PATH= D:\Documents\config
SAS_HADOOP_JAR_PATH= D:\Documents\jars
SAS_HADOOP_RESTFUL=1

(可左右滑动)

配置方式如下:

3.配置SAS客户端上hosts文件

将CDH集群的hosts信息同步到C:\Windows\System32\drivers\etc\hosts文件中,内容如下:

4.HDFS的连接和操作


1.SAS访问HDFS示例

查看hdfs上/user目录下的文件

在本地的C:\Users\Administrator\Desktop\的目录下新建test.txt文件用于测试,内容如下:

然后在sas软件上编辑程序内容如下:

proc hadoop cfg="D:\Documents\config\hdfs-site.xml" username="root" password="12345678" verbose;
hdfs mkdir="/user/testsas";
hdfs copyfromlocal='C:\Users\Administrator\Desktop\test.txt'
out='/user/testsas/test.txt';
run; 

(可左右滑动)

代码说明:使用SAS的prochadoop访问HDFS,在HDFS的/user目录下新建testsas目录并将本地C:\Users\Administrator\Desktop\test.txt文件上传至HDFS的/user/testsas目录下。

代码运行结果:

在CDH集群主机上用命令行查看,可以看到已经创建了testsas文件夹和文件test.txt,查看test.txt文件与本地文件内容一致,表示SAS访问HDFS并成功操作。

5.Hive的连接和操作


1.编写SAS访问Hive代码,示例如下:

libname hive Hadoop server="your_server_name" database="default" user="hive" password="12345678";
proc sql;
select * from hive.new1;
quit;

(可左右滑动)

代码说明:使用libname方式创建名为hive的逻辑库(使用hive用户访问Hive的default库),并查询hive逻辑库下的new1表。

示例中Procsql代码需要在表名前添加逻辑库名才可以正常运行,所以示例中表名是hive.new1。

在SAS中运行代码,执行结果如下:

双击Hive逻辑库,查看逻辑库中的表

查看SQL执行结果

2.在集群的命令行使用hive命令查看default库下的表及new1表的数据

可以看到Hive逻辑库中的表与Hivedefault库中的表一致,new1表内容与SAS逻辑库下new1表数据一致。

3.也可以在SAS客户端通过界面的方式对Hive库中的表进行操作,通过点击SAS资源管理器->逻辑库->hive。

查看表数据:和命令行查询进行对比,结果一致。

删除表:和命令行查询进行对比,结果一致。

新增表:和命令行查询进行对比,结果一致。

6.配置impala的ODBC连接并测试


1.下载Impala的ODBC驱动

下载地址为:

https://www.cloudera.com/downloads/connectors/impala/odbc/2-5-40.html

(可左右滑动)

2.5.40为目前最新版本,根据你的操作系统的实际情况选择,Fayson的电脑是Windows的系统,64位。

2.安装Impala的ODBC驱动

双击下载好的msi文件进行安装

3.配置impala的ODBC连接并测试

如图打开64-bit ODBC administrator → 用户DSN → 添加 → 选择cloudera odbcdriver for impala → 点击完成

弹出配置界面→填写好host和其他信息→点击test→弹出success,配置完成

点击“Test…”按钮,测试结果如下则表示使用ODBC的方式连接Impala成功:

7.SAS连接Impala及操作


1.在sas资源管理器界面空白处右键点击新建→引擎选择impala,

2.输入impala的库名、服务器,数据库名、端口,由于集群未启用安全所以这里用户名和密码可不填

3.信息输入完成后,点击确定,可以看到在SAS的资源管理界面新增了一个imp的逻辑库

4.双击逻辑库名称进入imp逻辑库,查看逻辑库下的表及qqtest表内容

使用Impala-shell命令访问Impala,查看default库下表与imp逻辑库下表信息一致

5.编写SAS访问Impala代码,其代码与hive相同,示例如下:

libname myipl impala server="your_impala_server" database="default" user="root" password="123456";
      proc sql;
            select * from myipl.test_impala;
quit;

(可左右滑动)

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f),作者:Fayson

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CDH高可用集群误删NameNode故障恢复

    在已启用HA的CDH集群中,误删Standby Namenode服务,导致集群异常,无法再次通过CM启用HA。异常如下

    Fayson
  • 如何安装Tableau并连接CDH的Hive/Impala

    Tableau是桌面系统中的商业智能工具软件,可以基于不同的数据源生成漂亮的图表。Cloudera与Tableau是互相认证的合作伙伴,在Tableau的数据源...

    Fayson
  • Navigator的使用

    在前面Fayson介绍了《Cloudera Navigator介绍与安装》,本篇文章主要介绍Navigator的四大核心功能,元数据搜索、数据溯源、审计以及数据...

    Fayson
  • pitu: 开源命令行P图工具

    对单张图片处理分为: 缩放(zoom),旋转(rotate),镜像(flip),裁剪(cut),灰度(gray),添加文本(text) 。

    我是一条小青蛇
  • 小程序 SaUi

    以下是SaUi的小程序,及里面的部分界面图片,此小程序会不定时更新。如果里面没有大家想要的效果,或者写得不好,也欢迎大家给小弟我提提!!!

    ss1121
  • CDH高可用集群误删NameNode故障恢复

    在已启用HA的CDH集群中,误删Standby Namenode服务,导致集群异常,无法再次通过CM启用HA。异常如下

    Fayson
  • iOS客户端配置Exchange邮箱

    程序员不务正业
  • 如何安装Tableau并连接CDH的Hive/Impala

    Tableau是桌面系统中的商业智能工具软件,可以基于不同的数据源生成漂亮的图表。Cloudera与Tableau是互相认证的合作伙伴,在Tableau的数据源...

    Fayson
  • 7天从0到一个完整的小程序

    如果你熟悉公众号开发的套路,那么入手小程序就很快了。如果你熟悉app开发,那入手也是很顺畅的,我认为关键在于移动开发思想。

    热心的程序员
  • 如何为Kerberos环境的CDH集群在线扩容数据节点

    Hadoop集群其中一个优点就是可伸缩性(横向扩展),通过增加计算节点使服务容量产生线性增长的能力。可伸缩的应用程序的主要特点是:只需要增加资源,而不需要对应用...

    Fayson

扫码关注云+社区

领取腾讯云代金券