在Python中使用mrjob的标准差显示错误"file has no attributes to run“
在Python中使用mrjob的标准差显示错误"file has no attributes to run"是由于mrjob库中的文件缺少可执行属性导致的。mrjob是一个用于在Hadoop集群上运行MapReduce作业的Python库。
要解决这个错误，可以按照以下步骤进行操作：
- 确保已正确安装mrjob库。可以使用pip命令进行安装：
pip install mrjob - 确保你的代码中正确导入了mrjob库：
from mrjob.job import MRJob - 检查你的代码中是否正确定义了一个继承自MRJob的类，并且该类中包含了必要的方法，如
mapper、reducer等。 - 确保你的代码中正确指定了要运行的输入文件和输出文件的路径。可以使用
-r参数指定运行方式，如-r local表示在本地运行。 - 检查你的代码中是否正确调用了mrjob库中的方法。例如，使用
mr_job = YourMRJobClass(args=args)创建一个MRJob对象，并使用mr_job.run()方法运行作业。
如果以上步骤都正确无误，但仍然出现"file has no attributes to run"错误，可能是由于文件缺少可执行属性导致的。你可以尝试给文件添加可执行属性，可以使用chmod命令来设置文件的权限，例如：chmod +x your_file.py。
关于mrjob的更多信息和使用方法，你可以参考腾讯云的相关产品和文档：
- 腾讯云产品：云托管Hadoop集群
- 产品介绍链接地址：https://cloud.tencent.com/product/emr
请注意，以上答案仅供参考，具体解决方法可能因环境和代码实现而异。如果问题仍然存在，请参考mrjob的官方文档或寻求相关技术支持。
相关·内容
from mrjob.job import MRJobimport sys
yield statistics.stdev(numbers)
MRFindStdev.run
浏览 20提问于2019-03-04得票数 0
我在理解如何使用mrjob的add_file_arg()时遇到了问题。我正在尝试向我的映射器传递一个带有person属性的csv，并在映射器中查找每个人的属性。=1 data/people_ids.csv database=data/people_attributes.csvTraceback (most recent call lastpython3.6
浏览 0提问于2018-05-19得票数 0
我有大量数据存储在HDFS系统中(或者，在亚马逊S3中)。不幸的是，当运行mrjob并给出HDFS文件名或包含的目录名时，我得到一个错误。例如，这里我将数据存储在目录hdfs://user/hadoop/in1/中。运行它时，我得到了这个错误：
$ python <
浏览 2提问于2015-12-07得票数 1
2回答
我正在尝试学习使用python mrjob的mapreduce程序。我收到以下错误：dumping stdin to local file /tmp/pyes_mrjob.testuser.20131004.103251.998597/STDIN File "/usr/local/lib/pyth
浏览 0提问于2013-10-04得票数 2
当我试图在hadoop集群上运行mrjob示例时，我得到了这个错误。我已经设置了我的hadoop_home，我还可以在hdfs文件系统上创建一个新的dir。如果我使用hadoop流，我可以运行python map-reduce。只有在mrjob的情况下，我才会遇到这个问题。File "/usr/lib/python2.6&#
浏览 1提问于2015-02-27得票数 0
我试图使用ec2实例在亚马逊的EMR上运行一个mrjob。直到我意识到我使用的是python包(机械化、BeautifulSoup、boto)，它才开始工作。因此，我将其添加到我的mrjob.conf文件中，但现在我一直收到以下错误：Traceback (mos
浏览 1提问于2015-07-01得票数 1
回答已采纳
我正试图在我的自定义数据上从mrjob的网站上运行基本示例。我已经使用流成功地运行了Hadoop映射还原，我也成功地尝试了没有Hadoop的脚本，但是现在我尝试通过mrjob命令在Hadoop上运行它。runner.run()
File "/usr/lib/python2.6/site-packages
浏览 2提问于2014-08-24得票数 2
回答已采纳
1回答
如果我试图在我的Hadoop作业中使用这个文件(用warc包读取它)，我会遇到这样的错误：
回溯(最近一次调用)：文件"test.py"，第46行，在TagGrabber.run() File "/var/cc-mrjob/venv/local/lib/python2.7/site-packages/
浏览 4提问于2015-05-20得票数 0
回答已采纳
我正在做一个使用hadoop mapreduce的项目。├── input_to_hadoop.txt当我在本地使用命令运行时，运行没有错误：但在hadoop上运行时使用以下命令：(所有节点都安装了lxml库)
python testMrjob.py -r hadoop --file p
浏览 0提问于2014-10-18得票数 0
3回答
当我实际尝试运行一个脚本(在本例中，使用python和mrJob)时，它会引发一个“无效的S3 URI”错误。() mr_job.execute()
Fi
浏览 6提问于2013-05-08得票数 3
我正在使用Mrjob在Hadoop中运行python代码。我在单节点集群上使用带有虚拟机的CDH包。当我在本地测试代码时，我的mrjob运行正常，但当我在Hadoop集群上运行时，它抛出一个错误：当我在python之前删除"sudo“命令时，我得到了以下消
浏览 0提问于2013-10-23得票数 0
1回答
我正在尝试使用MRJob在没有管理员权限的集群上运行python脚本，我得到了下面的错误信息。我认为正在发生的情况是，作业正在尝试将中间文件写入默认的/tmp……由于这是一个我没有写入权限的受保护目录，因此该作业收到一个错误并退出。MRWordFreqCount.run()
File "/home/myusername/
浏览 1提问于2013-12-15得票数 1
1回答
我试图使用hadoop集群和MRJob运行python作业，我的包装脚本如下所示：因此，一旦我使用qsub myscript.sh将这个脚本提交到集群中
我得到两个文件一个输出文件和一个错误文件/python2.7/site-packages&
浏览 3提问于2013-12-14得票数 1
我尝试在python文件中使用mrjob并在命令行中运行它，但我不断收到错误日志：no configs\mrjob\job.py", line 500, in run File "C:\Python27\lib\sit
浏览 3提问于2013-10-19得票数 4
1回答
我一直在尝试用MRJob库制作简单的矩阵加法程序。我已经创建了这个简单的程序，就像使用单独的映射器和还原器一样，它在本地很好地工作，在Hadoop集群上，现在我尝试在单个类(MRJob)库上创建这个程序。但是我找不到我所得到的错误，mapper函数工作得很好，但是减速器不能正常工作，我在网上找不到任何解决方案。如有任何建议，将不胜感激。python3.8/site-pac
浏览 13提问于2022-02-28得票数 0
看起来MapReduce框架的本质就是处理很多文件。因此，当我收到错误，告诉我使用了太多的文件时，我怀疑我做错了什么。python2.7/site-packages/mrjob/launch.py", line 208, in run_job File "/Users/andrewsturges1153, in pipe_clo
浏览 0提问于2015-06-05得票数 1
1回答
我是hadoop和mrjob的新手，这本书对我的学习帮助很大。我试图在hadoop上运行mrSVM.py，因为它在本地运行得很好。.egg/mrjob/job.py", line 462, in runFile "/usr/local/lib/python2.7/dist-packages/mrjob
浏览 2提问于2014-08-18得票数 2
我正在尝试使用Python mrjob库在Google Cloud Dataproc上运行Hadoop Map Reduce字数计算示例。/lib/python3.8/dist-packages/mrjob/job.py", line 616, in run File "/usr/local/lib/
浏览 36提问于2020-11-01得票数 2
2回答
我正在学习如何让mrjob在电子病历上工作的。我遵循了所有的步骤，但是当我运行示例脚本时，我得到了这个错误： mr_job.execute()
浏览 2提问于2014-06-04得票数 0
1回答
python文件相同的目录中： def mapper(self, key,python Rating-Counter.py mapreduce\mapper1.txt!\User\lib\site-packages\mrjob\job.py", line 461, in <
浏览 0提问于2016-06-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
