腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Java
Mapreduce
-
获取
匹配
的
文件名
并
打
印到
输出
文件
java
、
hadoop
、
mapreduce
、
bigdata
您好,我一直在尝试设计一个标准WordCount v1.0
的
修改版本,在该版本中,我从输入目录(args)读取所有
文件
,并将
输出
打
印到
输出
目录(args[1]),该目录不仅包含单词和出现次数,还包含发生
匹配
的
文件
列表例如,我有两个文本
文件
: //1.txtand big data I like programming hate big data <
浏览 25
提问于2019-06-28
得票数 0
回答已采纳
3
回答
将多个
文件名
打
印到
txt
文件
中
的
特定行
linux
、
files
、
ls
、
bioinformatics
我试图将
文件名
列表打
印到
文本
文件
中,并要求在同一行上打印某些
文件名
。例如,我有4个
文件
。.fastq Vegan_R2.fastqfor file in
浏览 0
提问于2019-04-24
得票数 0
1
回答
检索Mapper中当前行
的
文件名
java
、
hadoop
、
mapreduce
、
bigdata
我正在编写一个
MapReduce
作业,它将使用3个参数,即-Keyword、输入
文件
的
路径和
输出
文件
。我
的
理想
输出
应该是包含关键字
的
所有
文件
的
名称。简单
的
逻辑是遍历文本中
的
每一行,并将其与我们
的
关键字
匹配
。如果它返回真
文件名
,则打印
文件名
。 在进行了大量
的
googling搜索之后,我找到了3个
浏览 2
提问于2016-06-14
得票数 3
回答已采纳
1
回答
通过
MapReduce
读取与特定模式
匹配
的
目录中
的
文件
,
并
输出
各个
文件
的
名称
java
、
hadoop
、
mapreduce
我正在尝试读取一个目录中
的
文件
,该目录
的
路径被指定为
MapReduce
程序
的
参数。其目的是在每个
文件
上执行一些计算(例如,特定单词
的
出现次数)。此外,
文件名
必须与模式
匹配
(比如.
java
文件
)。程序
的
输出
是
文件名
和计算值。 到目前为止,我已经能够实现一个非常基本
的
Map程序,它读取目录
的
内容,没有任何特定<em
浏览 8
提问于2016-08-12
得票数 0
回答已采纳
2
回答
用合并键修改sqoop增量
sqoop
我正在尝试导入HDFS中更新
的
记录。早些时候,我在HDFS.When中有三个部件
文件
,我运行在工具下面,它给出了一个需要合并键
的
错误。incremental lastmodified --check-column modified --last-value '2016-08-22 19:02:41' 然而,当我使用合并键选项时,我只能看到包含所有记录
的
部分
文件
浏览 1
提问于2016-08-24
得票数 1
1
回答
我可以使用什么大数据解决方案来处理大量
的
输入
文件
?
python
、
amazon-ec2
、
bigdata
、
amazon-sqs
我目前正在为我
的
问题寻找最好
的
解决方案+环境。我把问题简化了一点,但基本上: 我有大量
的
小
文件
上传到亚马逊S3。我有一个规则系统,它
匹配
所有
文件
内容(包括
文件名
)
的
任何输入,然后
输出
一个对每个
文件
进行分类
的
判决。注意:我不能组合输入
文件
,因为我需要每个输入
文件
的
输出
。我得出
的
结论是,使用
MapRed
浏览 3
提问于2014-09-12
得票数 0
回答已采纳
1
回答
如何通过在python中传递
文件名
从box.com
获取
文件
ID
python-3.x
、
django
、
box
如何从file_id API中
的
“
文件名
”
获取
Box.com我想传递
文件名
并
获得该
文件名
的
文件
id。 我正在使用python。
浏览 1
提问于2022-01-14
得票数 1
2
回答
如何在C、
java
和C++
的
任何位置编译和运行任何
文件
?
java
、
compilation
我正在创建一个编辑器类型
的
应用程序,我想在其中编译和运行(当然是创建、编辑、打开) C、C++和
Java
文件
;我正在用
Java
创建它。现在,为了编译和运行,我采用了
文件
的
整个路径,
并
通过这个完整路径编译和运行。runFileCommand =
java
/media/disk/eclipse/\/UniversalIDE/<em
浏览 0
提问于2012-02-08
得票数 1
回答已采纳
2
回答
管道首先X行到一个命令,rest到另一个命令
bash
、
pipe
是否有一种优雅
的
方法将命令
的
STDOUT拆分成两个不同
的
程序?id-001 INPROGRESS 5相反,我希望它正常打印前两行,然后column其余
的
。
浏览 1
提问于2018-10-29
得票数 2
回答已采纳
1
回答
Amazon streaming elastic
mapreduce
获取
输入
文件名
并
设置
输出
hadoop
、
amazon-web-services
我正在使用amazon流媒体功能,可以
获取
文件
输入名称吗? 另外,我是否可以设置
输出
,使每一新行都不是一个新
文件
?
浏览 2
提问于2012-04-20
得票数 0
1
回答
Hive 0.11中
的
自定义
输出
文件名
amazon-s3
、
hive
我
的
Hive工作在AWS S3中生成
输出
文件名
前缀块号/名称-0000。我想要
文件名
为-00000.有人能帮我实现这个目标吗。
浏览 0
提问于2014-10-12
得票数 1
1
回答
如何获得按字母顺序排列
的
Kotlin
文件
列表?
android
、
list
、
file
、
kotlin
、
sorting
因此,我有一堆文本
文件
,我需要读取
并
打
印到
文本视图中
的
内容。我目前正在使用.list() (
java
.io.File)
获取
给定目录中
文件
的
列表(它
输出
文件名
字符串数组)。然后,我遍历数组
并
逐个读取内容。问题是,我需要按字母顺序排序
文件
(
文件
是日志,我需要首先显示最新
的
日志--
文件名
是时间戳--例如20220414221311)
浏览 2
提问于2022-04-14
得票数 0
回答已采纳
1
回答
使用bash脚本在gedit中预定义文本
linux
、
bash
、
shell
、
command-line
为了让我
的
生活更轻松,我想编写一个bash脚本,它带我到一个预定义
的
目录,
并
使用用户给定
的
文件名
创建一个c
文件
。 #!cs/graphs现在,我希望gedit包含一些预定义
的
文本,如程序员
的
姓名、系统日期和标准库导入行。任何帮助都
浏览 3
提问于2017-12-11
得票数 1
回答已采纳
1
回答
将
MapReduce
作业链接到网页
java
、
tomcat
、
hadoop
、
mapreduce
我已经编写了一个
MapReduce
作业,它使用3个命令行参数-关键字、输入路径、
输出
路径。它计算关键字出现在输入
文件
中
的
次数,
并
输出
相同
的
次数。当我单击submit时,它应该触发一个
MapReduce
作业并将结果
输出
到网页本身。这怎么可能?这会很有帮助
的
浏览 4
提问于2016-06-17
得票数 0
2
回答
获取
尚未在Python中返回
的
(OS)命令
的
输出
python
要获得命令
的
输出
,我们可以这样做但是假设我有一个命令,我不想等待它返回。实际上,我想让它继续运行,偶尔也会
输出
一些
输出
。(例如,
java
PrintEvery5) (假设PrintEvery5每5秒
打
印一行)。我试过以下几种方法,但似乎不起作用。当我尝试这个时,我可以看到
输出
。(例如,它一直打
印到<
浏览 3
提问于2014-05-14
得票数 3
1
回答
从HDFS FS
获取
文件名
,其中File包含特定字符串
unix
、
hadoop
、
hdfs
我正在尝试根据
文件
的
内容从hadoop
文件
系统中
获取
文件名
。我在一个
文件
夹中有超过1000个
文件
,每个
文件
都有5到10 MB
的
大小。我
的
要求是从包含字符串
的
列表中找到
文件名
,例如- "abc":123。(我需要查找
的
字符串不在
文件名
中,而是在
文件
内容中)hdfs dfs
浏览 0
提问于2021-06-22
得票数 0
1
回答
打印
文件名
和grep将导致查找-exec
command-line
、
grep
、
find
、
filenames
我有一个名为foo
的
程序,我想对通过find找到
的
每个结果进行执行。所以就像这样:我想要grep,对于某个字符串条,所有这些foo调用
的
输出
。所以我补充说:但是我失去了关于
匹配
文件
的
原始信息。如何将每个
文件名
打
印到
浏览 0
提问于2017-12-15
得票数 4
回答已采纳
2
回答
通过processbuilder将数据结果从python传递到
Java
变量
java
、
python
、
json
、
processbuilder
、
sys
我使用从
java
运行python脚本。我可以将数据从
Java
发送到python变量(导入sys从
Java
获取
数据)。并在
java
中打印python结果。我对在
JAVA
中将列表作为方法参数传递有异议。如何将变量(在python中
的
def MatchSearch()中返回变量)传递给变量
浏览 5
提问于2016-10-07
得票数 0
回答已采纳
1
回答
如何使用awk打印每第n个
匹配
xml
、
split
、
awk
我正在尝试将一个大
的
xml
文件
拆分为几个较小
的
文件
。我找到了一个解决方案,将每个节点拆分为它自己
的
文件
:上面的代码
匹配
每个"mono“节点,并
浏览 4
提问于2011-03-07
得票数 0
回答已采纳
2
回答
更改火花流中
的
输出
文件名
hadoop
、
apache-spark
、
spark-streaming
、
spark-dataframe
我正在运行一个火花作业,它
的
表现非常好,就其逻辑而言。但是,当我使用saveAsTextFile将
文件
保存到s3桶中时,
输出
文件
的
名称为-00000、-00001等格式。有办法改变
输出
文件名
吗?
浏览 1
提问于2016-06-22
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop 分布式计算模型MapReduce(四):编程进阶
好程序员大数据教程路线分享marpreduce快速入门
大数据学习之Hadoop环境搭建,真的是贼全
Hadoop之MapReduce
Hadoop 介绍
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券