腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
扎心了老铁
专栏作者
举报
89
文章
206056
阅读量
41
订阅数
订阅专栏
申请加入专栏
全部文章(89)
python(22)
云数据库 Redis(11)
java(10)
es 2(9)
其他(8)
分布式(8)
zookeeper(8)
sql(7)
spark(7)
数据库(6)
django(6)
编程算法(5)
大数据(5)
云数据库 SQL Server(4)
api(4)
linux(4)
hive(4)
mybatis(4)
hadoop(3)
javascript(2)
node.js(2)
ajax(2)
maven(2)
apache(2)
nginx(2)
spring(2)
http(2)
存储(2)
缓存(2)
jvm(2)
grep(2)
rabbitmq(2)
安全(2)
erlang(1)
.net(1)
servlet(1)
scala(1)
html(1)
jquery(1)
嵌入式(1)
memcached(1)
mvc(1)
打包(1)
centos(1)
容器镜像服务(1)
mapreduce(1)
mongodb(1)
容器(1)
压力测试(1)
数据迁移(1)
爬虫(1)
ssh(1)
yum(1)
spring boot(1)
aop(1)
tcp/ip(1)
scrapy(1)
jenkins(1)
数据结构(1)
kafka(1)
配置(1)
搜索文章
搜索
搜索
关闭
commons-pool与commons-pool2连接池(Hadoop连接池)
apache
commons-pool和commons-pool2是用来建立对象池的框架,提供了一些将对象池化必须要实现的接口和一些默认动作。对象池化之后可以通过pool的概念去管理其生命周期,例如对象的创建,使用,销毁等。例如我们通常使用的连接池,连接池可以有效管理连接的数量和状态,保证连接资源的情况而且避免并发场景下连接的频繁建立和释放。 我们这里来讲述如何使用commons-pool2来池化对象。我们以池化hadoop连接为例。 1、先解决依赖 <dependency> <grou
用户1225216
2018-03-05
3.2K
0
使用spark对hive表中的多列数据判重
spark
hive
apache
本文处理的场景如下,hive表中的数据,对其中的多列进行判重deduplicate。 1、先解决依赖,spark相关的所有包,pom.xml spark-hive是我们进行hive表spark处理的关键。 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <ver
用户1225216
2018-03-05
5.1K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档