蓝天-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

蓝天

专栏成员

526

文章

864681

阅读量

41

订阅数

快速体验 Flink Table Store

flink jdk jar hadoop 大数据

在本地安装单机版本，能够实现快速体验 Flink Table Store 的目的，本文以 Flink 1.15.2、flink-table-store-dist-0.2.1 和 flink-shaded-hadoop-2-uber-2.8.3-10.0 为例，系统为 Centos 3.10。

2022-11-23

5580

REdis一致性方案探讨

云数据库 Redis 编程算法开源 hadoop javascript

REdis功能强大众所周知，能够大幅简化开发和提供大并发高性能，但截止到REdis-5.0.5仍然存在如下几大问题：

2019-06-19

6820

Hadoop-2.4.0分布式安装手册

本文的目的是为当前最新版本的Hadoop 2.4.0提供最为详细的安装说明，以帮助减少安装过程中遇到的困难，并对一些错误原因进行说明。本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn，并不包含HBase、Hive和Pig等。

2019-03-14

1.4K0

“undefined JNI_GetCreatedJavaVM”和“File format not recognized”错误原因分析

hadoop java 大数据 jvm 打包

如果编译时，报如下所示错误： ../../third-party/hadoop/lib/libhdfs.a(jni_helper.c.o): In function `getGlobalJNIEnv': /root/hadoop-2.4.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/libhdfs/jni_helper.c:446: undefined reference to `JNI_GetCreatedJavaVMs' /root/hadoop-2.4.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/libhdfs/jni_helper.c:505: undefined reference to `JNI_CreateJavaVM' /root/hadoop-2.4.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/libhdfs/jni_helper.c:505: undefined reference to `JNI_CreateJavaVM' 是因为链接时，没有加上库文件libjvm.so。加上libjvm.so重编译，如果又遇到如下所示的错误： ../../third-party/libjvm.so: file not recognized: File format not recognized 这问题是因为libjvm.so不能被识别，libjvm.so的版本过高导致的 nm ../../third-party/libjvm.so | grep JNI_CreateJavaVM nm: ../../third-party/libjvm.so: 不可识别的文件格式查看nm的版本： nm --version GNU nm 2.16.91.0.5 20051219 (SUSE Linux) Copyright 2005 Free Software Foundation, Inc. 本程序是自由软件；您可以按照 GNU 通用公共许可证的条款对其进行再发行。本程序没有任何担保。现在换成高一点的版本试试： ./nm --version GNU nm 2.17.50.0.6-20.el5 20061020 Copyright 2005 Free Software Foundation, Inc. This program is free software; you may redistribute it under the terms of the GNU General Public License. This program has absolutely no warranty. 再次执行，一切正常，需要升级ld了，或者降低JRE或JDK的版本试试： ./nm libjvm.so | grep JNI_CreateJavaVM 00000000006307c0 T JNI_CreateJavaVM

2019-03-14

1.3K0

互联网后台开发需要掌握什么？

分布式大数据 hadoop 开源 json

互联网后台开发，通常意味着分布式、大数据，涉及到高性能、系统容灾、数据容灾、高可用性、数据一致性等。自从2008年Hadoop在华夏大地蓬勃发展，开源如火山爆发在业界百花齐放，茁壮成长。国内的BAT、华为和小米等也大量的参与了国际开源，甚至开源了大量优秀的久经考验的内部系统，如阿里的Tair、druid、fastjson、jstorm、AliSQL、RocketMQ和腾讯的RapidJSON、libco、PhxPaxos、PhxRPC、PhxQueue、PhxSQL、PaxosStore、MSEC、Tars、TAF等。

2018-12-10

1.5K0

在Linux上编译Hadoop-2.4.0

打包 jdk hadoop maven

Hadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。

2018-08-10

1.1K0

ZooKeeper-3.4.6分布式安装指南

zookeeper 分布式 linux hadoop

介绍ZooKeeper-3.4.6版本的分布式安装，力求细致，提供精确的安装指导。本文的安装环境是64位的SuSE 10.1 Linux，也适用于ZooKeeper-3.4.8。

2018-08-10

1.2K0

查看HDFS集群信息

hadoop 面向对象编程 node.js

clusterID：集群ID，必须保持一致 1）在NameNode上查看 cat $HADOOP_HOME/dfs/name/current/VERSION #Fri Apr 18 11:56:57 GMT 2014 namespaceID=1397306199 clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708be cTime=0 storageType=NAME_NODE blockpoolID=BP-139798373-172.25.40.171-1397735615751 layoutVersion=-56 2）在DataNode上查看 cat $HADOOP_HOME/data/current/VERSION #Fri Apr 18 19:55:26 CST 2014 storageID=DS-69084e49-bc8c-45dd-bc8d-937d3a48fbe7 clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708be cTime=0 datanodeUuid=e6e43082-2289-4542-8f51-c0989352d065 storageType=DATA_NODE layoutVersion=-55

2018-08-10

1.2K0

进程绑定CPU简单应用

注：原发表在Hadoop技术论坛相关函数： sched_setaffinity, sched_getaffinity, CPU_CLR, CPU_ISSET, CPU_SET, CPU_ZERO - set and get a process's CPU affinity mask 大写数实际为宏，进行位操作的宏。 #define _GNU_SOURCE #include int sched_setaffinity(pid_t pid, unsigned

2018-08-07

8910

清理disuz垃圾用户信息SQL语句

select `hadoop_members`.`username` from `hadoop_members` left join `cdb_members` on `hadoop_members`.`username`=`cdb_members`.`username` where `cdb_members`.`username` is null;

2018-08-07

4570

inotify_add_watch使用注意

1.inotify_add_watch返回并不是一个fd，而只是一个标识 2.对于同一个PATH，inotify_add_watch将返回相同的标识。不需要调用close关闭，但需要调用inotify_rm_watch来删除。在对文件进行读、写、关闭监控时需要注意这个特性。但inotify_init返回的是一个真正的fd，因此需要调用close关闭它。但是如果相同PATH，但是是add和rm交替进行的，则不会重复，而且是从1递增。在未rm上一个之前对同一个PATH进行add_watch，实际只是进行修改，返回值是不会变的。

2018-08-07

1.2K0

Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

hadoop 大数据

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src 执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）： cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1.7.0_55 . 成功之后，会在目录下生成Makefile文件，接下来就可以执行make编译生成libhdfs.so和libhdfs.a了。如果遇到下面这样的错误： /data/jdk1.7.0_55/jre/lib/amd64/server/libjvm.so: file not recognized: File format not recognized 则需要考虑升级链接器ld，参考说明：http://blog.chinaunix.net/uid-20682147-id-4239779.html。 ld是GNU binutils的成员，可以从http://ftp.gnu.org/gnu/binutils/下载到新的版本。注意在升级gcc和ld之后，需要更新下环境变量PATH，再重执行cmake，否则可能引用的仍然是老版本的gcc和ld。 /data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src # cmake -DGENERATED_JAVAH=/data/java_1_7 -DJAVA_HOME=/data/java_1_7 -- The C compiler identification is GNU 4.1.2 -- The CXX compiler identification is GNU 4.1.2 -- Check for working C compiler: /usr/bin/cc -- Check for working C compiler: /usr/bin/cc -- works -- Detecting C compiler ABI info -- Detecting C compiler ABI info - done -- Detecting C compile features -- Detecting C compile features - done -- Check for working CXX compiler: /usr/bin/c++ -- Check for working CXX compiler: /usr/bin/c++ -- works -- Detecting CXX compiler ABI info -- Detecting CXX compiler ABI info - done -- Detecting CXX compile features -- Detecting CXX compile features - done JAVA_HOME=/data/java_1_7, JAVA_JVM_LIBRARY=/data/java_1_7/jre/lib/amd64/server/libjvm.so JAVA_INCLUDE_PATH=/data/java_1_7/include, JAVA_INCLUDE_PATH2=/data/java_1_7/include/linux Located all JNI components successfully. -- Performing Test HAVE_BETTER_TLS -- Performing Test HAVE_BETTER_TLS - Success -- Performing Test HAVE_INTEL_SSE_INTRINSICS -- Performing Test HAVE_INTEL_SSE_INTRINSICS - Success -- Looking for dlopen in dl -- Looking for dlopen in dl - found -- Found JNI: /data/java_1_7/jre/lib/amd64/libjawt.so -- Found PkgConfig: /usr/bin/pkg-config (found version "0.20") -- checking for module 'fuse' -- package 'fuse' not found

2018-08-06

2.1K0

Haodoop RPC解析

RPC是对外的接口类，主要提供两个方法：getProxy和getServer。

2018-08-06

4050

Hadoop-2.8.0分布式安装手册

hadoop 分布式 java jdk

10.12.154.79: Error: JAVA_HOME is not set and could not be found.

2018-08-02

3K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态