0518-如何在Impala中使用UDF获取SessionId
0518-如何在Impala中使用UDF获取SessionId
1
文档编写目的
Hive在UDF中获取sessionId可以直接使用提供的java API，但是该UDF如果移植到Impala中是无法获取到Impala连接的SessionId的，要想获取Impala的SessionId,需要用C++来编写。
2
实现思路
1. 根据Impala的源码可知可通过UDF参数中的context上下文对象来取得该SessionId,具体调用关系如下：
context->impl()->state()->session_id();源码参考：
https://github.com/cloudera/Impala/blob/cdh5-2.9.0_5.12.2/be/src/udf/udf.h#L234
https://github.com/cloudera/Impala/blob/cdh5-2.9.0_5.12.2/be/src/runtime/runtime-state.h#L112但是从源码中方法的注释上我们可以看到，context的impl()方法是不允许在UDA/UDF中使用的：
因此从官方提供的UDF依赖包impala-udf-devel安装后的库中也可以看到，并没有runtime-state.h等编译需要的依赖文件：
上图的五个声明文件是官方提供的UDF依赖。
按照正常的Impala用C++来实现UDF的流程，context->impl()->state()->session_id()将不能编译成功。
2. 因此在编译该UDF文件时，只能通过引入impala的源码和编译源码时需要的依赖来实现。
3
编译流程
1. 安装maven
下载maven:
wget http://mirror.cogentco.com/pub/apache/maven/maven-3/3.6.0/binaries/apache-maven-3.6.0-bin.tar.gz
解压：
tar -zxvf apache-maven-3.6.0-bin.tar.gz
mv apache-maven-3.6.0 /usr/local/
修改/etc/profile添加到环境变量
export MAVEN_HOME=/usr/local/apache-maven-3.6.0另外，如果有配anaconda的环境变量，暂时注释
验证maven：
2. 升级cmake
下载cmake-3.3.2-1.gf.el7.x86_64.rpm,并制作本地yum源,可到https://pkgs.org下载：
yum -y install cmake-3.3.2-1.gf.el7.x86_643. 安装高版本的g++编译器，impala源码中引入了c++11新特性，g++太低将无法编译,此处安装的是7.3.1版本。
sudo yum -y install centos-release-scl
sudo yum -y install devtoolset-7
scl enable devtoolset-7 bash验证g++：
4. 下载Impala源码
wget https://codeload.github.com/cloudera/Impala/zip/cdh5-trunk解压到当前目录
unzip Impala-cdh5-trunk.zip将该目录添加到环境变量IMPALA_HOME
export IMPALA_HOME=/data/Impala-cdh5-trunk
source /etc/profile5. 安装依赖
yum install -y redhat-lsb.x86_64
yum -y group install "Development Tools"
yum -y install git ant libevent-devel automake libtool flex bison gcc-c++
yum -y install openssl-devel make
yum -y install doxygen.x86_64 glib-devel python-devel bzip2-devel svn libevent-devel krb5-workstation
yum -y install openldap-devel db4-devel python-setuptools python-pip cyrus-sasl* postgresql postgresql-server ant-nodeps lzo-devel lzop
yum -y install boost boost-devel6. 编译源码
进入impala源码目录
./buildall.sh -notests(该命令将编译整个工程，耗时较长)
或者执行：
./buildall.sh -cmake_only上述命令执行完毕之后检查以下几点：
be/generated-sources下是否有gen-cpp目录及内部是否有文件：
toolchain下是否已下载thrift,glog,gflags,rapidjson依赖
7. 创建UDF文件
创建文件夹：
mkdir -p /root/impala-udf
mkdir -p /root/impala-udf/include将源码包内相关包复制到include下
cp -r toolchain/gflags-2.2.0-p1/include/gflags/ /root/impala-udf/include
cp -r toolchain/glog-0.3.4-p3/include/glog/ /root/impala-udf/include
cp -r toolchain/rapidjson-0.11/include/rapidjson/ /root/impala-udf/include
cp -r toolchain/thrift-0.9.0-p11/include/thrift/ /root/impala-udf/include
cp -r be/generated-sources/gen-cpp /root/impala-udf/include
cp -r be/src/* /root/impala-udf/include编写获取SessionId的C++代码：
编写getSessionId.h
#ifndef SAMPLES_UDF_H
#define SAMPLES_UDF_H
#include <udf/udf.h>
#include <udf/udf-internal.h>
using namespace impala_udf;
StringVal GetSessionId(FunctionContext* context);
#endif编写getSessionId.cc
从下方的Impala的JAVA源码中可以看到，SessionId存放在TUniqueId对象的两个字段中，取出时需将其转换成16进制字符串：
此处从context中取得TuniqueId对象之后，将其转化成16进制。
#define __STDC_FORMAT_MACROS
#include <stdlib.h>
#include "getSessionId.h"
#include <udf/udf.h>
#include <udf/udf-internal.h>
#include <runtime/runtime-state.h>
#include <string.h>
#include <vector>
#include <stdio.h>
#include <inttypes.h>
#include<iostream>
using namespace std;
namespace impala{
class TUniqueId;
}
using namespace impala_udf;
string DecIntToHexStr(unsigned long long num)
{
string str;
long long Temp = num / 16;
int left = num % 16;
if (Temp > 0)
str += DecIntToHexStr(Temp);
if (left < 10)
str += (left + '0');
else
str += ('A' + left - 10);
return str;
}
StringVal getSessionId(FunctionContext* context) {
impala::TUniqueId id = context->impl()->state()->session_id();
string idhi = DecIntToHexStr(id.hi);
string idlo = DecIntToHexStr(id.lo);
string sessionid = idhi +":"+ idlo;
return *(new StringVal(sessionid.data()));
}编写CMakeList.txt文件：
cmake_minimum_required(VERSION 3.2.3)
# where to put generated libraries
set(LIBRARY_OUTPUT_PATH "build")
# where to put generated binaries
set(EXECUTABLE_OUTPUT_PATH "build")
find_program(CLANG_EXECUTABLE clang++)
SET(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -g -ggdb")
include_directories("include")
# Function to generate rule to cross compile a source file to an IR module.
# This should be called with the .cc src file and it will generate a
# src-file-ir target that can be built.
# e.g. COMPILE_TO_IR(test.cc) generates the "test-ir" make target.
set(IR_COMPILE_FLAGS "-emit-llvm" "-O3" "-c" "-Iinclude")
function(COMPILE_TO_IR SRC_FILE)
get_filename_component(BASE_NAME ${SRC_FILE} NAME_WE)
set(OUTPUT_FILE "build/${BASE_NAME}.ll")
add_custom_command(
OUTPUT ${OUTPUT_FILE}
COMMAND ${CLANG_EXECUTABLE} ${IR_COMPILE_FLAGS} ${SRC_FILE} -o ${OUTPUT_FILE}
DEPENDS ${SRC_FILE})
add_custom_target(${BASE_NAME}-ir ALL DEPENDS ${OUTPUT_FILE})
endfunction(COMPILE_TO_IR)
# Build the UDA/UDFs into a shared library.
add_library(getSessionId SHARED getSessionId.cc)
# Custom targest to cross compile UDA/UDF to ir
if (CLANG_EXECUTABLE)
COMPILE_TO_IR(getSessionId.cc )
endif(CLANG_EXECUTABLE)
# This is an example of how to use the test harness to help develop UDF and UDAs.
target_link_libraries(getSessionId ImpalaUdf)8. 编译UDF
cmake .
make
在该目录的build下可看见编译好的文件
4
验证UDF
1. 将libgetSessionId.so上传hdfs的/tmp下：
hdfs dfs -put libgetSessionId.so /tmp2. 创建UDF并验证
CREATE FUNCTION getSessionId() RETURNS string location '/tmp/libgetSessionId.so' symbol='getSessionId';查询
select *,getSessionId() from test_table;
从上图中可以看出，在一次查询中获取的sessionId相同。
断开连接后再次连接查询：
可以看到，与上一次连接相比，SessionId已发生改变。
3. 但是impala不同于hive，在cmz中impala的log不能看到impala的Sessionid,因此，不容易验证获取的正确性，但impala的log中有查询的query_id。
此处我们将context->impl()->state()->session_id();改为context->impl()->state()->query_id();重新编译后上传创建getQueryId()。
CREATE FUNCTION getQueryId() RETURNS string location '/tmp/libgetQueryId.so' symbol='getQueryId';查询：
select *,getQueryId() from test_table;
可看到在两次的查询中query_id不同，符合预期，并且与log日志中的query_id相同：
5
总结
IMPALA的UDF，不论是java还是c++，都不能操作session。当官方提供的UDF API不能够满足需求时，引入IMPALA的源码来编译时可行的。