腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
蓝天
专栏成员
举报
526
文章
864880
阅读量
41
订阅数
订阅专栏
申请加入专栏
全部文章(526)
其他(257)
linux(50)
编程算法(27)
云数据库 Redis(25)
https(21)
人工智能(19)
c++(18)
shell(17)
unix(15)
http(15)
安全(15)
hadoop(14)
node.js(13)
云数据库 SQL Server(13)
bash(12)
打包(12)
网络安全(11)
java(10)
javascript(10)
github(10)
apache(10)
存储(10)
grep(9)
html(8)
分布式(8)
rpc(8)
gcc(8)
git(7)
开源(7)
ssh(7)
windows(7)
.net(6)
数据库(6)
bash 指令(6)
zookeeper(6)
kernel(6)
大数据(6)
c#(5)
sql(5)
正则表达式(5)
udp(5)
json(4)
汇编语言(4)
api(4)
容器(4)
缓存(4)
hbase(4)
nat(4)
进程(4)
php(3)
lua(3)
xml(3)
ide(3)
jdk(3)
erp(3)
dns(3)
tcp/ip(3)
ps(3)
go(2)
access(2)
maven(2)
ubuntu(2)
容器镜像服务(2)
运维(2)
数据迁移(2)
面向对象编程(2)
ftp(2)
数据分析(2)
awk(2)
free(2)
glibc(2)
ip(2)
malloc(2)
service(2)
session(2)
变量(2)
函数(2)
脚本(2)
状态机(2)
c 语言(1)
python(1)
ruby(1)
bootstrap(1)
jquery(1)
makefile(1)
oracle(1)
nosql(1)
mvc(1)
ruby on rails(1)
eclipse(1)
svn(1)
jar(1)
nginx(1)
apt-get(1)
spring(1)
命令行工具(1)
TDSQL MySQL 版(1)
全站加速网络(1)
知识图谱(1)
云推荐引擎(1)
yarn(1)
kubernetes(1)
自动化(1)
压力测试(1)
html5(1)
jvm(1)
yum(1)
jdbc(1)
ntp(1)
微信(1)
数据结构(1)
系统架构(1)
架构设计(1)
kafka(1)
迁移(1)
raft(1)
flink(1)
agent(1)
cmd(1)
directory(1)
dispatcher(1)
eval(1)
file(1)
fork(1)
md5(1)
pdf(1)
pid(1)
rss(1)
send(1)
sizeof(1)
sleep(1)
substr(1)
thrift(1)
volatile(1)
编译器(1)
程序(1)
磁盘(1)
代码质量(1)
后台开发(1)
集群(1)
架构师(1)
内核(1)
软件(1)
设计(1)
系统(1)
线程池(1)
协议(1)
性能(1)
用户体验(1)
优化(1)
重构(1)
搜索文章
搜索
搜索
关闭
快速体验 Flink Table Store
flink
jdk
jar
hadoop
大数据
在本地安装单机版本,能够实现快速体验 Flink Table Store 的目的,本文以 Flink 1.15.2、flink-table-store-dist-0.2.1 和 flink-shaded-hadoop-2-uber-2.8.3-10.0 为例,系统为 Centos 3.10。
一见
2022-11-23
558
0
REdis一致性方案探讨
云数据库 Redis
编程算法
开源
hadoop
javascript
REdis功能强大众所周知,能够大幅简化开发和提供大并发高性能,但截止到REdis-5.0.5仍然存在如下几大问题:
一见
2019-06-19
682
0
Hadoop-2.4.0分布式安装手册
hadoop
本文的目的是为当前最新版本的Hadoop 2.4.0提供最为详细的安装说明,以帮助减少安装过程中遇到的困难,并对一些错误原因进行说明。本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn,并不包含HBase、Hive和Pig等。
一见
2019-03-14
1.4K
0
“undefined JNI_GetCreatedJavaVM”和“File format not recognized”错误原因分析
hadoop
java
大数据
jvm
打包
如果编译时,报如下所示错误: ../../third-party/hadoop/lib/libhdfs.a(jni_helper.c.o): In function `getGlobalJNIEnv': /root/hadoop-2.4.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/libhdfs/jni_helper.c:446: undefined reference to `JNI_GetCreatedJavaVMs' /root/hadoop-2.4.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/libhdfs/jni_helper.c:505: undefined reference to `JNI_CreateJavaVM' /root/hadoop-2.4.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/libhdfs/jni_helper.c:505: undefined reference to `JNI_CreateJavaVM' 是因为链接时,没有加上库文件libjvm.so。加上libjvm.so重编译,如果又遇到如下所示的错误: ../../third-party/libjvm.so: file not recognized: File format not recognized 这问题是因为libjvm.so不能被识别,libjvm.so的版本过高导致的 nm ../../third-party/libjvm.so | grep JNI_CreateJavaVM nm: ../../third-party/libjvm.so: 不可识别的文件格式 查看nm的版本: nm --version GNU nm 2.16.91.0.5 20051219 (SUSE Linux) Copyright 2005 Free Software Foundation, Inc. 本程序是自由软件;您可以按照 GNU 通用公共许可证 的条款对其进行再发行。本程序没有任何担保。 现在换成高一点的版本试试: ./nm --version GNU nm 2.17.50.0.6-20.el5 20061020 Copyright 2005 Free Software Foundation, Inc. This program is free software; you may redistribute it under the terms of the GNU General Public License. This program has absolutely no warranty. 再次执行,一切正常,需要升级ld了,或者降低JRE或JDK的版本试试: ./nm libjvm.so | grep JNI_CreateJavaVM 00000000006307c0 T JNI_CreateJavaVM
一见
2019-03-14
1.3K
0
互联网后台开发需要掌握什么?
分布式
大数据
hadoop
开源
json
互联网后台开发,通常意味着分布式、大数据,涉及到高性能、系统容灾、数据容灾、高可用性、数据一致性等。自从2008年Hadoop在华夏大地蓬勃发展,开源如火山爆发在业界百花齐放,茁壮成长。国内的BAT、华为和小米等也大量的参与了国际开源,甚至开源了大量优秀的久经考验的内部系统,如阿里的Tair、druid、fastjson、jstorm、AliSQL、RocketMQ和腾讯的RapidJSON、libco、PhxPaxos、PhxRPC、PhxQueue、PhxSQL、PaxosStore、MSEC、Tars、TAF等。
一见
2018-12-10
1.5K
0
在Linux上编译Hadoop-2.4.0
打包
jdk
hadoop
maven
Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼。
一见
2018-08-10
1.1K
0
ZooKeeper-3.4.6分布式安装指南
zookeeper
分布式
linux
hadoop
介绍ZooKeeper-3.4.6版本的分布式安装,力求细致,提供精确的安装指导。本文的安装环境是64位的SuSE 10.1 Linux,也适用于ZooKeeper-3.4.8。
一见
2018-08-10
1.2K
0
查看HDFS集群信息
hadoop
面向对象编程
node.js
clusterID:集群ID,必须保持一致 1)在NameNode上查看 cat $HADOOP_HOME/dfs/name/current/VERSION #Fri Apr 18 11:56:57 GMT 2014 namespaceID=1397306199 clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708be cTime=0 storageType=NAME_NODE blockpoolID=BP-139798373-172.25.40.171-1397735615751 layoutVersion=-56 2)在DataNode上查看 cat $HADOOP_HOME/data/current/VERSION #Fri Apr 18 19:55:26 CST 2014 storageID=DS-69084e49-bc8c-45dd-bc8d-937d3a48fbe7 clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708be cTime=0 datanodeUuid=e6e43082-2289-4542-8f51-c0989352d065 storageType=DATA_NODE layoutVersion=-55
一见
2018-08-10
1.2K
0
进程绑定CPU简单应用
hadoop
注:原发表在Hadoop技术论坛 相关函数: sched_setaffinity, sched_getaffinity, CPU_CLR, CPU_ISSET, CPU_SET, CPU_ZERO - set and get a process's CPU affinity mask 大写数实际为宏,进行位操作的宏。 #define _GNU_SOURCE #include int sched_setaffinity(pid_t pid, unsigned
一见
2018-08-07
891
0
清理disuz垃圾用户信息SQL语句
hadoop
select `hadoop_members`.`username` from `hadoop_members` left join `cdb_members` on `hadoop_members`.`username`=`cdb_members`.`username` where `cdb_members`.`username` is null;
一见
2018-08-07
458
0
inotify_add_watch使用注意
hadoop
html
1.inotify_add_watch返回并不是一个fd,而只是一个标识 2.对于同一个PATH,inotify_add_watch将返回相同的标识。不需要调用close关闭,但需要调用inotify_rm_watch来删除。 在对文件进行读、写、关闭监控时需要注意这个特性。但inotify_init返回的是一个真正的fd,因此需要调用close关闭它。 但是如果相同PATH,但是是add和rm交替进行的,则不会重复,而且是从1递增。 在未rm上一个之前对同一个PATH进行add_watch,实际只是进行修改,返回值是不会变的。
一见
2018-08-07
1.2K
0
Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a
hadoop
大数据
hadoop提供了CMake来编译libhdfs,因此在编译之前需要先安装好CMake工具。 然后进入libhdfs的源代码目录,如:/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src 执行cmake以生成Makefile文件(假设jdk的安装目录为/data/jdk1.7.0_55): cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1.7.0_55 . 成功之后,会在目录下生成Makefile文件,接下来就可以执行make编译生成libhdfs.so和libhdfs.a了。 如果遇到下面这样的错误: /data/jdk1.7.0_55/jre/lib/amd64/server/libjvm.so: file not recognized: File format not recognized 则需要考虑升级链接器ld,参考说明:http://blog.chinaunix.net/uid-20682147-id-4239779.html。 ld是GNU binutils的成员,可以从http://ftp.gnu.org/gnu/binutils/下载到新的版本。 注意在升级gcc和ld之后,需要更新下环境变量PATH,再重执行cmake,否则可能引用的仍然是老版本的gcc和ld。 /data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src # cmake -DGENERATED_JAVAH=/data/java_1_7 -DJAVA_HOME=/data/java_1_7 -- The C compiler identification is GNU 4.1.2 -- The CXX compiler identification is GNU 4.1.2 -- Check for working C compiler: /usr/bin/cc -- Check for working C compiler: /usr/bin/cc -- works -- Detecting C compiler ABI info -- Detecting C compiler ABI info - done -- Detecting C compile features -- Detecting C compile features - done -- Check for working CXX compiler: /usr/bin/c++ -- Check for working CXX compiler: /usr/bin/c++ -- works -- Detecting CXX compiler ABI info -- Detecting CXX compiler ABI info - done -- Detecting CXX compile features -- Detecting CXX compile features - done JAVA_HOME=/data/java_1_7, JAVA_JVM_LIBRARY=/data/java_1_7/jre/lib/amd64/server/libjvm.so JAVA_INCLUDE_PATH=/data/java_1_7/include, JAVA_INCLUDE_PATH2=/data/java_1_7/include/linux Located all JNI components successfully. -- Performing Test HAVE_BETTER_TLS -- Performing Test HAVE_BETTER_TLS - Success -- Performing Test HAVE_INTEL_SSE_INTRINSICS -- Performing Test HAVE_INTEL_SSE_INTRINSICS - Success -- Looking for dlopen in dl -- Looking for dlopen in dl - found -- Found JNI: /data/java_1_7/jre/lib/amd64/libjawt.so -- Found PkgConfig: /usr/bin/pkg-config (found version "0.20") -- checking for module 'fuse' -- package 'fuse' not found
一见
2018-08-06
2.1K
0
Haodoop RPC解析
rpc
hadoop
RPC是对外的接口类,主要提供两个方法:getProxy和getServer。
一见
2018-08-06
405
0
Hadoop-2.8.0分布式安装手册
hadoop
分布式
java
jdk
10.12.154.79: Error: JAVA_HOME is not set and could not be found.
一见
2018-08-02
3K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档