腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
系统
设计
问题
:
每晚
处理
第三方
大文件
、
、
我们的应用程序每天晚上都会从
第三方
工具收到一个大型数据集(Ex100 GB),我们需要
处理
它,并在一天结束前将其提供给我们的
系统
。我们可以自由使用任何基础设施,但
处理
时间应该尽可能少, 有没有人能建议一种优化的方法?
浏览 23
提问于2021-05-11
得票数 -1
5
回答
用于大型文件的smbclient替代方案
、
、
我使用smbclient
每晚
将一组
大文件
(80 GB)从Linux
系统
传输到Windows共享。Windows
系统
不在我的控制之下,所以我无法安装SSH服务器(使用SCP或SFTP),我不想依赖Microsoft的NFS实现。还有另一种简单的标准选择可以让我定期地通过网络将80 GB的数据从Linux传输到Windows (网络是GB以太网,所以带宽不是
问题
)吗?
浏览 0
提问于2012-02-17
得票数 12
回答已采纳
1
回答
ATS如何
处理
大型文件?
我想知道ATS如何有效地
处理
大型文件(例如电影文件)。请给我一点亮光。 提前谢谢。
浏览 2
提问于2017-05-10
得票数 1
回答已采纳
1
回答
如何搁置消息队列?
、
、
、
当从队列中读取某个消息时,我希望锁定队列,直到该进程结束对收到的消息的
处理
。我有一个拥有大量用户的
系统
。每次用户在
系统
中更改其状态(配置文件、角色、访问权限、资产所有权等)时,我还需要使用这些更改更新
第三方
服务器。
第三方
与我们是分开的,他们向我公开的api允许我一次只更新一个用户,大约需要一秒钟。我使用ActiveMQ将主更新过程从
第三方
系统
的更新中分离出来。
每晚
我都会收到一个提要文件,其中可能包含数千个用户更改。由于这是一项关键任务,
浏览 3
提问于2016-01-20
得票数 1
1
回答
Linux:在没有du或find的情况下,如何在磁盘上找到最大或增长最快的文件或目录?
当然,我们可以
每晚
运行,但这些
问题
往往会发生爆炸性的。:) 是否有任何文件
系统
支持在不需要扫描整个磁盘的情况下解决这个
问题
?可能是监控文件活动以维护细粒度使用树的守护进程,还是“最
大文件
”列表之类的?
浏览 0
提问于2022-09-07
得票数 0
回答已采纳
3
回答
在存储到db之前压缩大文本数据?
、
、
、
我有一个从
系统
局域网检索许多大型日志文件的应用程序。目前我把所有的日志文件放在Postgresql上,表有一个文本类型的列,我不打算在这个文本列上进行任何搜索,因为我使用了另一个外部进程,它
每晚
检索所有文件并扫描敏感模式。因此,列值也可以是BLOB或CLOB,但是现在我的
问题
是,数据库已经有了它的压缩
系统
,但是我可以像使用常见的压缩器实用程序那样手动改进这种压缩吗?最重要的是,如果我手动预压缩
大文件
,然后将其作为二进制文件放入数据表中,这是不是没有用,因为数据库
系统
提供了内部压缩?
浏览 0
提问于2010-03-19
得票数 3
1
回答
许多小文件的良好文件
系统
和/或存档
系统
、
、
、
大多数通用文件
系统
似乎不适合这样做,因为它们要么无法
处理
大量的文件,要么无法
处理
许多文件,或者具有非常大的块大小。这似乎是一个常见的
问题
,然而,当我在inode上存储大小与其大小大致相同的小文件时,我发现的所有解决方案似乎最终都会受到存储效率的影响。是否有专门为
处理
数亿个小文件而
设计
的文件
系统
?或 是否有生产级解决方案来动态归档小文件并将一个
大文件
写入磁盘?
浏览 4
提问于2012-10-31
得票数 0
回答已采纳
1
回答
我如何解决这些Git GC
问题
?
、
我有一个反复出现的
问题
,我的git repo (我想?)将决定它需要进行垃圾回收。这个过程需要超过半个小时,然后在每次拉/推操作时触发。 手动运行Git需要半个小时,但似乎不能解决这个
问题
。3.我可以做些什么来解决或最小化更大的
问题
(也就是,为什么它必须首先进行垃圾收集)?
浏览 3
提问于2012-12-17
得票数 4
1
回答
在路由来自服务器的请求时,我应该如何
处理
可伸缩性
问题
?
、
、
、
我在
系统
的初始
设计
中遇到了一个
问题
,敏感信息被发送到前端,而前端负责调用
第三方
API。正如你可能已经猜到的那样,它极易受到攻击。为了解决这个
问题
,我添加了一个后端
系统
来代理这些请求,并代表前端调用
第三方
API。这种方法的
问题
是它根本不是可伸缩的。我目前正在寻找额外的15台服务器来
处理
当前的负载,而且每天都在增加。
浏览 13
提问于2020-07-08
得票数 1
5
回答
使用非便携代码的理由
如何选择某人是否在优化的代码、实现的清晰性、效率和可移植性方面证明他们的
设计
折衷是合理的? 将文件的相关部分映射为一个大块。mmap文件的一个50 of块用于
处理
,对于每个块-这将工作在许多操作
系统
,这取决于为
浏览 4
提问于2009-06-23
得票数 3
回答已采纳
1
回答
FTP客户端上传方式如何?
、
、
我已经
设计
了一个上传文件的网站,有没有一种方法可以直接从我的网站上传文件到ftp,而不是先上传到服务器?目前使用的是普通的html格式,去上传文件。表单不上载
大文件
..我尝试了一个350mb的文件,但连接超时。有没有办法直接从网站上传文件到ftp服务器(客户端没有
第三方
软件)? 更新(29/13/17)我的
问题
只用php就解决了。我现在可以上传
大文件
了。然而,这个
问题
仍然没有得到回答。
浏览 14
提问于2017-12-27
得票数 0
1
回答
Mulesoft
设计
中心
问题
、
我正在
设计
我的
系统
API使用RAML 1.0在任何一点
设计
中心。不幸的是,使用js2dt转换器从我的
第三方
(
系统
)的响应模式自动生成的RAML库高达1,45,000行。当我将它作为一个片段发布到Exchange,并尝试使用我的实际API规范RAML时,我的
设计
中心引起了许多
问题
,例如。右上角的旋转器一直在旋转,页面崩溃,“试试看”没有出现。我很确定这是因为
设计
中心无法
处理
这个巨大的RAML碎片。当我尝试使用一个简单的RQ/R
浏览 1
提问于2018-04-14
得票数 1
回答已采纳
1
回答
在Windows Azure中从sFTP服务器导入数据库
、
、
、
、
我正在建立一个网站,将从
第三方
系统
数据浮出水面。
第三方
将提供我需要的所有数据的副本,作为他们sftp服务器上的rar文件中的SQL restore file (*.bak)。数据每天都在变化,所以我的应用程序需要连接到sftp站点,获取文件,解压缩,然后
每晚
将其恢复到我的数据库服务器中。我在标准的windows环境中编写脚本相当舒服,但客户更喜欢将应用程序构建在MS Azure云上,这似乎不支持该
问题
的通用解决方案。
浏览 3
提问于2013-07-02
得票数 1
2
回答
基于Java的大容量事务web应用程序
、
、
我几乎没有
处理
高流量交易网站的经验,最近遇到了这个有趣的
问题
。我想知道Java应用程序中的瓶颈在高负载(每秒数千次请求)下会发生在哪里。如果有人能给我一个高层次的方法来思考以下
问题
,那就太好了!我想出的唯一办法是使用memcached缓存数据库查找,但我不知道如何计算每个请求所需的时间,因此
系统
每秒可以
处理
多少请求。
问题
:互联网规模的应用程序必须
设计
为
处理
大量的交易.描述一个必须平均每秒
处理
30,000个HTTP请求的
系统</
浏览 9
提问于2010-06-20
得票数 7
1
回答
MySQL增长500 K/日纪录
、
我有一个MySQL数据库,用于构建
系统
数据的存档。
每晚
一次,房舍管理
系统
将存档其数据,结果是在数据库中的各个表中添加了大约50万行数据。有什么我应该知道的吗?编辑:我完全知道这是不理想的,因此这篇文章,但我完全无法改变
第三方</
浏览 0
提问于2015-08-18
得票数 2
2
回答
在从服务器路由请求时,我应该如何
处理
可伸缩性
问题
?
、
、
在我的
系统
的最初
设计
中,我遇到了一个
问题
:敏感信息被发送到前端,前端负责调用
第三方
API。正如你可能已经猜到的,它非常容易受到攻击。为了弥补这一点,我添加了一个后端
系统
来代理这些请求,并代表前端调用
第三方
API。这种方法的
问题
在于它根本不具有可伸缩性。我目前正在寻找更多的15台服务器来
处理
当前的负载,而且它正在与日俱增。
浏览 0
提问于2020-07-07
得票数 -3
回答已采纳
1
回答
如何
处理
遗留代码?绝望案例
、
、
、
、
我有个方法
问题
。我面临的是一个相当大的遗留
系统
()。对于它的代码库-as,团队中的每一个人我都是新手--因为这是我们在外包过程中的一种产品,业务人员之所以决定引进它,是因为它成为了商业上的关键。该项目目前的状况是:代码库的
设计
非常糟糕(根本没有测试,甚至没有OO
设计
)。它与许多
第三方
组件/
系统
集成。 它对业务至关重要(操作24/7同时<e
浏览 0
提问于2015-07-16
得票数 2
1
回答
在加载数据时
处理
数据
我们有一个工具,可以从一些光学介质加载数据,一旦数据全部复制到硬盘上,就可以通过
第三方
工具进行
处理
。我想优化这个过程,这样每个文件在读入时都会被
处理
。
问题
是,
第三方
工具(我自然无法更改)有12秒的启动开销。就尽快完成整个过程而言,我能
处理
这个
问题
的最好方法是什么?我可以在每次运行中将任意数量的文件传递给
处理
工具,因此我需要能够准确地确定何时运行该工具,以获得最快的总体结果。被复制的数据可以是从一个
大文件
(在完全复制之前无法
处理
浏览 1
提问于2012-11-30
得票数 0
1
回答
在部署了应用程序的实例硬盘上存储文件
、
、
、
我正在
设计
一个应用程序,它可以根据内容拆分/合并文件,并将其推送到其他
系统
。一旦
处理
完毕,就完全不需要这些文件了。因此,我计划将文件存储在部署了应用程序的HDD上,而不是任何分布式/网络文件
系统
。为什么我没有选择网络文件
系统
,因为在我的场景中,我需要
处理
像1 1GB这样的
大文件
,而我正在使用JSON streams来
处理
这些文件。如果它发生在网络文件
系统
上,
处理
时间可能会很长。 我也考虑过使用本地
浏览 3
提问于2017-08-13
得票数 0
2
回答
最好的上传web应用程序的FTP或HTTP?
我们想要一个高效,健壮的上传
系统
。最
大文件
大小为50 MB。将会有至少1lac用户同时上传。请建议哪个上传
系统
更好,FTP和HTTP?目前我们有基于http的上传,在那里我们确实得到了一些错误,如连接
问题
,会话超时,超时错误等…甚至建议我为任何
第三方
ftp上传工具,如果你来遇到。
浏览 2
提问于2009-09-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
从海量数据处理到大数据架构设计思想之-分而治之
两台电脑如何快速传输几百G文件,这款文件传输软件真快
如何通过outlook发送超大附件?
超大文件传输慢怎么办?
炎炎夏日,用Python抓取头条街拍图集,清凉一夏
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券