腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
包含目录的分区上的空闲inode数
、
、
、
、
我有一个在
Linux
下运行的Python脚本,它会在给定的目录中
生成
大量
的
小文件
。但是,像ext4这样的许多
Linux
文件系统在创建时都设置了固定数量的inode,所以我想确保在开始之前可以将那么多的文件保存到该目录中。
浏览 10
提问于2012-09-08
得票数 2
回答已采纳
1
回答
有没有一种方法可以加快许多
小文件
的上传/下载使用onedrive-abraunegg?
、
最近,我从Windows转到
Linux
,并且一直存在同步OneDrive的问题。虽然onedrive-砂糖程序真的很酷,我真的很高兴使用它,但它有一个小问题。上传/下载许多
小文件
需要时间。问题是角需要
大量
的依赖(?)创造了
大量
的
小文件
。我想澄清一下,我有一个很好的网络连接。我已
浏览 0
提问于2021-10-21
得票数 0
3
回答
用于
大量
文件的Django文件系统存储
、
、
、
场景: Django应用程序
生成
许多与不同模型中的对象相关的
小文件
。谢谢!
浏览 1
提问于2012-07-02
得票数 4
回答已采纳
2
回答
如何将百万歌曲数据集等大数据集加载到BigData HDFS、Hbase、Hive?
、
、
、
、
我已经下载了百万首歌曲数据集的一个子集,大约2 2GB。但是,数据被分解为文件夹和子文件夹。在子文件夹中,它们都是几种“H5文件”格式。我知道它可以用Python来读取。但是我不知道如何提取并加载到HDFS中,这样我就可以在Pig中运行一些数据分析。我是否将它们提取为CSV并加载到Hbase或Hive?如果有人能帮我找到合适的资源会很有帮助。
浏览 0
提问于2015-10-10
得票数 0
4
回答
如何在服务器端自动将LESS编译成CSS?
、
、
、
、
我的一位朋友设计师正在手动编译他的
小文件
,并将其上传到Coda (远程站点),花费了
大量
宝贵的时间。他问我: 是否有可能自动检测
Linux
服务器上的文件更改并立即进行编译?
浏览 18
提问于2012-11-29
得票数 10
回答已采纳
1
回答
如何为具有良好读写速度的较
小文件
创建磁盘?
、
我试图找到最好的方法来存储
大量
的
小文件
在一个卷,而不触及inode的限制。我在做一些研究,结果发现:他们建议:“
小文件
”的选项是什么?另外-任何其他的建议,如何配置一个驱动器为许多
小文件
(~3-10 of ),将不胜感激!
浏览 0
提问于2020-09-19
得票数 2
回答已采纳
2
回答
传输
大量
小文件
、
、
、
、
当你的数据在MB甚至GB范围内时,通常的数据传输方法(scp、http和ftp实用程序,如curl或wget)可以很好地工作,但是当你有非常大的
小文件
集合(例如10KB)时,传输将非常慢,并且根本不会使用带宽
浏览 3
提问于2018-12-16
得票数 0
1
回答
几个月后极端的ZFS减速
、
、
、
使用0.6.5.3运行
Linux
4.2.3内核。
浏览 0
提问于2015-10-23
得票数 8
1
回答
vmware磁盘在
linux
来宾上变为只读。
、
、
我把
Linux
CentOS作为VMWare工作站上的客户操作系统,主机是Windows。我每次都能复制这个问题。我们能做些什么来解决这个问题。
浏览 0
提问于2014-02-14
得票数 -1
1
回答
下载
大量
小文件
、
、
我正在寻找改进的WCF客户端/服务器,以便它将处理
大量
的
小文件
,比目前更快。我希望有人有一个替代实现的建议。
浏览 1
提问于2013-01-03
得票数 0
回答已采纳
2
回答
下载
大量
小文件
、
、
、
、
我需要一种有效的方法,从文本文件中的URL列表中下载
大量
(数百万)
小文件
。我希望用新的名称保存这些文件(来自另一个文本文件或其他地方),因为URL是长的、动态
生成
的胡言乱语,并且会导致最大文件名长度等方面的问题。
浏览 3
提问于2017-02-15
得票数 3
回答已采纳
6
回答
开发人员构建最快的文件系统是什么?
、
、
、
我正在组装一个
Linux
盒,它将充当一个持续集成构建服务器;我们将主要构建Java内容,但我认为这个问题适用于任何编译语言。更新:在这种情况下,数据完整性是一个低优先级;它只是一个构建机器.最后的文物将被拉链起来,并在其他地方存档。如果构建机器上的文件系统损坏并丢失了所有数据,我们就可以擦除和重新映像;
生成
将像以前一样继续运行。
浏览 0
提问于2011-02-04
得票数 12
回答已采纳
1
回答
纱线hadoop慢行
、
我安装了cloudera管理器(CDH 5)并创建了自己的claster。一切都很好,但是当我运行任务时,它运行得很慢(18分钟)。但是红宝石的剧本大约运行了5秒。#mapper.py for word in doc.split(): for key, value in do_map(line): print(key + "\t" + str(valu
浏览 3
提问于2015-11-17
得票数 0
1
回答
SSD是否有助于提高ipa文件的
生成
速度?
、
、
、
我遇到了15-20分钟的ipa
生成
时间。我很乐意把它削减至少一半。谢谢。
浏览 1
提问于2013-05-27
得票数 0
1
回答
当发生错误时,在将
小文件
写入磁带之前将它们存储到一个大tar文件中会增加数据丢失的程度吗?
、
、
、
、
我最近一直在查看我们的备份,并且注意到在编写
大量
小文件
时,磁带的吞吐量要低得多,所以考虑将这些
小文件
存储到一个大tar文件中,并将其写入磁带,而不是直接录制
小文件
。我的意思是,我将丢失包含
大量
较
小文件
的整个(大)文件,还是只会丢失tar文件的一个特定块并能够恢复其余的文件? 另外,像Amanda或Bacula这样的备份程序如何处理
大量
的
小文件
?注意:可能只是我们的暂存磁盘太慢了,但我假设
小文件
会对大多数人造成这样的备份性能问题。
浏览 0
提问于2011-10-20
得票数 4
回答已采纳
1
回答
上传到Hbase后数据大小减小
、
、
、
当文件作为记录从
linux
机器上传到Hbase表时,我们观察到数据大小的减少(文件系统上为10 GB,Hbase表中为6-8 GB )。在hbase表上没有使用压缩方法,主要压缩也被禁用。
浏览 47
提问于2021-06-23
得票数 0
3
回答
移动
大量
的
小文件
、
、
我必须将包含
大量
小文件
(250 k,avg大小为5mb)的目录从一台服务器传输到另一台服务器。两者都运行在Debian上。是否有一个关于
大量
文件传输的协议是值得推荐的?
浏览 0
提问于2011-03-26
得票数 2
回答已采纳
1
回答
验证
Linux
生成
的md5sum文件的Powershell脚本
、
、
我正在通过一个低速的,可能是错误的实验通信通道将一些文件从
Linux
机器转移到Windows机器上,我想测试这个通道。其中一个测试是在接收端传输
大量
大
小文件
并验证它们的加密散列。在
Linux
方面,我们使用md5sum
生成
文件散列,如下所示:然后将文件从
Linux
机器传输到Windows 10机器。
浏览 0
提问于2020-07-22
得票数 7
回答已采纳
5
回答
HDFS -加载
大量
文件
、
、
、
、
为了测试目的,我试图将
大量
的
小文件
加载到HDFS中。实际上,我们讨论的是大约100万(1'000'000)个大小为1KB到100 1KB的文件。我在一个文件夹中的
Linux
系统上用R脚本
生成
了这些文件。每个文件都有一个信息结构,其中包含一个带有产品信息的标头,以及包含数字信息的不同数量的列。也许是一种更好的方法来将
大量
的数据加载到HDFS中? 我非常感谢每一个有用的评论!
浏览 2
提问于2015-08-13
得票数 2
2
回答
大量
的
小文件
Hadoop
问题是-有
大量
的文件。只有一定数量的文件用于MapReduce作业(例如,上个月的测量值)。正因为如此,我不能将它们全部合并到一个大的序列文件中,因为不同的文件在不同的时间需要。我知道有
大量
的
小文件
是不好的,因为NameNode包含所有这些文件在HDFS上的路径(并将其保存在内存中),另一方面,每个
小文件
都会导致Mapper的创建。 我怎样才能避免这个问题?
浏览 1
提问于2015-04-23
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux Mint 21.1 发布:大量的视觉变化和改进|Linux 中国
使用 ChatGPT AI 从英文文本生成 Linux 命令|Linux 中国
linux生成随机密码的几种方式
Linux 使用 ssh-keygen 生成 RSA 密钥对
Linux 5.10发布,中国开发者有大量提交
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券