实战干货：Spark Native加速技术必备基础JNI实践总结
实战干货：Spark Native加速技术必备基础JNI实践总结
前言
Spark Native加速技术日益活跃，不管使用哪种技术方案，本质上都是JNI的使用。所谓JNI，即Java Native Interface，也就是允许Java代码与c/c++语言开发的本地库进行交互。如图红框所示：
本文主要记录Linux环境Java调用c/c++ native方法编译生成的动态链接库.so的案例总结，完整代码见：
https://github.com/felixzh2020/felixzh-java/tree/main/JavaJNIJava代码
与普通Java类一样，唯一不同点是本地方法sayHello增加关键字native，用法类似于abstract，如下：
[root@FelixZh java]# cat com/felixzh/jni/HelloNative.java
package com.felixzh.jni;
public class HelloNative {
static {
System.load("/opt/FelixZhHelloNative.so");
}
public static native void sayHello();
public static void main(String[] args) {
sayHello();
}
}首先通过javac命令将包含native方法的Java代码文件HelloNative.java编译生成HelloNative.class二进制类文件，如下：
[root@FelixZh mySourceCode]# cd JavaJNI/src/main/java/
[root@FelixZh java]# javac com/felixzh/jni/HelloNative.java
然后通过javah命令基于HelloNative.class二进制类文件生成c/c++代码的.h头文件，头文件的名称与Java类文件的包路径对应，如下：
[root@FelixZh java]# javah com.felixzh.jni.HelloNative
Java类文件的包路径 | c/c++头文件名称 |
|---|---|
com.felixzh.jni.HelloNative | com_felixzh_jni_HelloNative.h |
com_felixzh_jni_HelloNative.h头文件中方法名称Java_com_felixzh_jni_HelloNative_sayHello也包含了类文件的包路径，完整文件内容如下：
至此，Java代码已经完成，后续可以选择使用c/c++语言根据.h头文件实现native方法。
C代码
根据上述com_felixzh_jni_HelloNative.h头文件编写com_felixzh_jni_HelloNative.c文件实现native方法，完整内容如下：
[root@FelixZh java]# cat com_felixzh_jni_HelloNative.c
#include "com_felixzh_jni_HelloNative.h"
#include
JNIEXPORT void JNICALL Java_com_felixzh_jni_HelloNative_sayHello(JNIEnv *env, jclass jc)
{
printf("FelixZh，Hello JNI.");
}通过gcc命令将实现的.c文件编译成动态链接库FelixZhHelloNative.so，如下：
gcc -shared -fPIC -I/home/pkg/jdk/include/ -I/home/pkg/jdk/include/linux -o FelixZhHelloNative.so com_felixzh_jni_HelloNative.c
其中，-shared表示生成共享库；-fPIC表示生成位置无关代码，推荐使用；-o指定输出文件名称；-I指定直接引用或者间接引用的头文件的路径(这里用到的头文件都在JDK中)。
如果不通过-I指定头文件路径可能会遇到如下异常：
fatal error: jni.h: No such file or directory
jni_md.h: No such file or directory
Java调用c语言.so
回到上文中Java代码章节，代码中指定了.so路径，这里将上面.c代码编译生成的.so拷贝到指定路径/opt，如下：
[root@FelixZh java]# cp /home/mySourceCode/JavaJNI/src/main/java/FelixZhHelloNative.so /opt/执行Java代码，观察是否成功调用.so native方法，如下：
[root@FelixZh java]# java com/felixzh/jni/HelloNative
如图所示，已经成功执行native方法，打印日志内容：
FelixZh，Hello JNI.C++代码
与C代码类似，编写com_felixzh_jni_HelloNative.cpp文件内容如下：
[root@FelixZh java]# cat com_felixzh_jni_HelloNative.cpp
#include
#include "com_felixzh_jni_HelloNative.h"
using namespace std;
JNIEXPORT void JNICALL Java_com_felixzh_jni_HelloNative_sayHello(JNIEnv *env, jclass jc)
{
cout << "FelixZh, Hello Native C++." << endl;
}通过g++(注意：不是gcc)命令将实现的.cpp文件编译成动态链接库FelixZhHelloNative.so(由于Java代码写死了.so文件名，这里复用下，不再修改了)，如下：
g++ -shared -fPIC -I/home/pkg/jdk/include/ -I/home/pkg/jdk/include/linux -o FelixZhHelloNative.so com_felixzh_jni_HelloNative.cpp
新生成的FelixZhHelloNative.so会覆盖之前C代码所生成的FelixZhHelloNative.so。
注意：同样需要-I设置引用的头文件，笔者JDK路径为：/home/pkg/jdk
Java调用c++语言.so
与Java调用c语言.so相同，将上面.cpp代码编译生成的.so拷贝到指定路径/opt，如下：
[root@FelixZh java]# cp FelixZhHelloNative.so /opt/执行Java代码，观察是否成功调用c++代码的.so native方法，如下：
[root@FelixZh java]# java com/felixzh/jni/HelloNative
如图所示，已经成功执行C++ native方法，打印日志内容：
FelixZh, Hello Native C++. 腾讯云开发者
