腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
数据之美
专栏成员
举报
138
文章
411195
阅读量
63
订阅数
订阅专栏
申请加入专栏
全部文章(138)
java(18)
hadoop(18)
python(16)
shell(16)
hive(16)
其他(12)
linux(12)
云数据库 SQL Server(10)
windows(10)
mapreduce(9)
sql(6)
spark(5)
ssh(5)
大数据(5)
http(4)
编程算法(4)
分布式(4)
hbase(4)
bash(3)
数据库(3)
eclipse(3)
nginx(3)
https(3)
javascript(2)
html(2)
django(2)
网络安全(2)
tcp/ip(2)
数据分析(2)
fiddler(2)
数据挖掘(1)
iphone(1)
lua(1)
.net(1)
android(1)
oracle(1)
人工智能(1)
yarn(1)
存储(1)
开源(1)
自动化(1)
缓存(1)
运维(1)
爬虫(1)
html5(1)
jvm(1)
正则表达式(1)
hashmap(1)
zookeeper(1)
grep(1)
自动化测试(1)
flash(1)
markdown(1)
rpc(1)
安全(1)
数据处理(1)
数据结构(1)
聚类算法(1)
shift(1)
word(1)
表格(1)
分页(1)
搜索文章
搜索
搜索
关闭
巧用 Hive 模拟分布式 grep
hive
分布式
grep
编程算法
grep 由于内置高效的字符串搜索算法,兼容各种风格的正则,且功能众多,有着 linux 下字符串处理三剑客之一的称号,但是到了如今的大数据/分布式时代,这种单机时代的工具显得有些廉颇老矣。。。 1、需求背景 我们经常会遇到需要在 hadoop 上查找原始日志,校对 ETL 数据的情况,往往很多同学直接用的老办法: hadoop fs -cat /M_track/$yesterday/* | grep ooxx | wc -l 这种情况下是要把分布在整个集群上的日志都拉到单机上 grep 然后 wc,这是一
用户1177713
2018-02-24
1.2K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档