腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(63)
视频
沙龙
1
回答
为什么
在
kafka
2.1.1中,
zstd
比
gzip
慢
5倍?
apache-kafka
我正在测试
kafka
主题的压缩速度,但我得到了一些奇怪的结果,
ZSTD
比
GZIP
慢
5倍,这里有一些输出。
zstd
docker exec -ti compose-single_
kafka
_1 bash -c '/opt/
kafka
/bin/
kafka
-producer-perf-test.sh --topicrecord-size 1000 --num-records 400000
浏览 35
提问于2019-03-07
得票数 3
2
回答
将文件夹存档到服务器上,
在
主机上压缩
ssh
、
networking
、
scp
、
compression
此外,服务器
在
没有压缩的情况下没有足够的空间存储目录。理想情况下,服务器上的压缩同时进行。 我不太关心实际的压缩算法,只要它是多线程的。
浏览 0
提问于2021-12-13
得票数 0
回答已采纳
1
回答
使用渲染的html时下载速度较慢
html
、
gzip
、
owin
、
self-hosting
、
razorengine
当我
在
一个html(服务器端渲染)和大小485KB中设置所有数据时,显示页面需要4秒。我的服务器:--07/27 18:21编辑我做了更多的测试: *所有内容最终都是相同的。html + webapi request content.html +
在
服务器上渲染
浏览 2
提问于2017-07-27
得票数 1
5
回答
不同的“压缩”系统有什么区别?
tar
、
compression
、
zip
、
7zip
如果普通的*.tar不压缩,我们
为什么
要使用它? 编辑:并非所有算法都允许存储Linux权限(据我了解)。这样做,我是否可以使用某种黑客(或脚本)来存储权限?
浏览 0
提问于2014-03-20
得票数 14
回答已采纳
1
回答
在
linux中,如何将多个文件存档和压缩为一个文件并删除源文件?
linux
、
compression
、
archive
、
bzip2
、
xz
我
在
目录中有下面的文件。file002.我需要将它们压缩为一个文件,并删除原始/源文件(file001 .. file009),以便释放一些磁盘空间。
浏览 5
提问于2017-03-28
得票数 0
2
回答
羽毛和地板有什么区别?
python
、
pandas
、
parquet
、
feather
、
pyarrow
两者都集成
在
(用于python的包)中,并被设计成与对应,作为一个在内存中的柱状分析层。如果可能的话,
在
和熊猫一起工作的时候,你应该总是喜欢羽毛吗?
比
更合适的用例是什么? 我在这里发现了一些提示,但是考虑到这个项目的年轻,它可能有点过时了。不是一个严重的速度测试,因为我只是
在
转储和加载整个Dataframe,但是如果您以前从未听说过这些格式,请给您一些印象:import numpy as np import
浏览 3
提问于2018-01-03
得票数 171
回答已采纳
6
回答
Linux的哪个文件压缩软件为源代码提供了最大的压缩大小?
compression
、
source
我做了大量的文件压缩。我正在压缩的大部分内容只是代码,所以我需要使用无损压缩。有谁知道Linux中可用的各种工具和压缩算法与压缩文本的比较吗?还是7zip是压缩源代码的最佳方式?
浏览 0
提问于2013-06-05
得票数 80
回答已采纳
1
回答
ar,tar,
gzip
,zip之间的区别,以及我应该在什么时候决定选择哪一个?
tar
、
zip
、
gzip
、
archive
我知道
gzip
压缩了我的文件,但是让我说空间对我来说根本不是问题,那么在这种情况下,我应该选择哪一个呢?现在有些人会说,使用压缩在网络上传输文件时,您可以节省一些时间,但是解压缩和解压缩可以补偿我
在
传输中节省的时间。所以基本上我不能选择和决定选择哪一种工具和什么时候?
浏览 0
提问于2023-01-13
得票数 0
回答已采纳
1
回答
Nginx Fastcgi_cache性能-磁盘缓存VS tmpfs缓存与静态文件
wordpress
、
performance
、
caching
、
nginx
、
amazon-ec2
为什么
会有这么大的差别? 35449 - 1156 MISS 100 EXPIRED 诚挚的问候。
浏览 3
提问于2013-10-03
得票数 5
回答已采纳
1
回答
如何使用Python FAST下载和解析JSON
python
、
json
、
python-3.x
、
performance
、
download
JSON文件 return json.loads(url.read().decode())我这样写: req = Request(url_str, headers={'Accept-encoding': '
gzip
data = json.load(resp) return da
浏览 2
提问于2018-05-15
得票数 0
1
回答
有比完全解析更快的方法来验证未损坏的JSON吗?
json
、
shell
、
validation
、
logging
、
optimization
然后,这些日志通过验证步骤运行,通过对
gzip
截断之类的事情执行基本检查,确保该文件对我的ETL工作流有效。问题在于,由于一些尚未解决的问题,
gzip
文件
在
极少数情况下包含损坏/中断的JSON小块,例如: "firstAttribute": "foo1", "secondAttribute": "bar1只要可以
在
Linux实例上运行,任何语言都欢迎所有可能的解决方案。否则,我将需要计算出并行运行检查,这可能涉及
比
生
浏览 1
提问于2021-06-11
得票数 0
4
回答
bzip2太慢了。多个核是可选择的
performance
、
postgresql
、
gzip
我正在运行以下命令:时间太长了。我使用top查看流程。bzip2过程约占核心的95%,postgres占5%。wa条目很低。这意味着磁盘不是瓶颈。也许让bzip2使用更多的内核。服务器有16个核心。我能做些什么来提高性能呢?
浏览 0
提问于2017-09-08
得票数 39
回答已采纳
8
回答
多芯压缩工具
compression
、
multi-core
在
Ubuntu中有什么压缩工具可以从多核CPU中获益。
浏览 0
提问于2013-02-19
得票数 74
回答已采纳
3
回答
如何使用Pandas/Dask更快地读取压缩(.gz)文件?
python
、
pandas
、
gzip
、
dask
我有几个
gzip
文件(每个3.5 as ),到目前为止,我使用Pandas来读取这些文件,但它非常
慢
,我也尝试过Dask,但它似乎不支持
gzip
文件中断。有没有更好的方法来快速加载这些庞大的
gzip
文件?Dask和Pandas代码:我希望它能尽可能快地读取整个文件。
浏览 6
提问于2019-08-09
得票数 2
2
回答
Kafka
分区延迟增加
python
、
apache-kafka
、
kafka-consumer-api
、
kafka-python
我有一个使用
Kafka
1.0作为队列的应用程序。
Kafka
主题有80个分区和80个消费者在运行。(
Kafka
-python消费者)。./bin/
kafka
-consumer-groups.sh --bootstrap-server localhost:9092 --group mygroup --describe 120 mytopic 39
浏览 0
提问于2017-11-15
得票数 2
4
回答
用Perl压缩文件的最好方法是什么?
performance
、
perl
、
gunzip
-84%我也不明白
为什么
"while (<$z>)“
比
”while (my $line = $z->getline())“
慢
...
浏览 9
提问于2009-10-07
得票数 2
回答已采纳
1
回答
C#卡夫卡消费者设计
c#
、
multithreading
、
apache-kafka
它从
kafka
读取数据,处理数据,然后将其写入MSSQL。
kafka
主题已经被划分为10个分区--两年之后,团队正在考虑增加分区的数量,因为集群显示出不再管理卷的迹象。我的消费者已经实现为windows服务,其中每个服务启动一个
kafka
消费者。我们已经安装了10个服务,以便每个服务处理一个分区。我开始怀疑是否不应该改变设计,让单个服务启动多个KafkaReaders (基本上是多个线程,每个线程都有一个
kafka
使用者)。如果我这样做-缩放将更容易,只需配置服务启动更多的线程。不过,我听说过一些轶事,人们声称同一服务中
浏览 0
提问于2021-11-18
得票数 0
回答已采纳
3
回答
在
html中加载大型压缩json
javascript
、
html
、
jquery
、
json
、
gzip
具体而言,
在
中,v2按钮工作正常,但v3.却不行。 我试着用Python加载压缩的json文件,它们都可以工作。
浏览 0
提问于2021-02-01
得票数 0
2
回答
如何在Amazon上调优Hadoop MapReduce参数?
hadoop
、
memory
、
hadoop2
、
emr
、
amazon-emr
我的问题是 哪个最适合解决这个问题?
浏览 2
提问于2015-11-08
得票数 0
回答已采纳
4
回答
最好的压缩工具的全磁盘成像,可以饱和USB 3连接在低功率机器?
compression
、
disk-image
我经常处理完整的磁盘映像,我经常需要用USB-3磁盘作为临时介质,
在
功能不太强的笔记本电脑上读取和写入完整的磁盘映像。0:00:20 [80.2MiB/s] [49.8MiB/s] [> ] 0% ETA 2:50:20
在
15小时内使用lbzip2 -1进行压缩似乎
比
使用ETA的pxz -1稍微快一些,而后者仍然非常
慢
。
浏览 0
提问于2018-06-06
得票数 8
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka降本实用指南
得物App全栈可观测平台落地实践
Uber是如何低成本构建开源大数据平台的?
Kafka怎么不丢数据?
Kafka系列-2-常用消息系统简单对比
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券