腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
当
我们
在
nodejs
中
写入
数据
时
,
是否
可以
压缩
数据
?
node.js
、
stream
、
zip
、
zlib
我
可以
将
数据
附加到这样的文件
中
row (这是我将得到的) fs.appendFile('./file.txt', JSON.stringify(row) + '\n', (err) => { }); 但是我怎样才能在“追加”
数据
的同时
压缩
它呢我不确定这
是否
可能,如果是的话,任何指针都会非常有帮助。我
可以
通过管道来实现吗?如果是,是如何实现的? zip.
浏览 12
提问于2019-09-24
得票数 1
回答已采纳
2
回答
AVRO的二进制编码
是否
压缩
数据
?
avro
在
我们
的一个项目中,
我们
正在使用Kafka和AVRO
在
应用程序之间传输
数据
。将
数据
添加到AVRO对象,并对对象进行二进制编码以
写入
Kafka。
我们
使用二进制编码,因为与其他格式相比,它通常被认为是最小的表示形式。
数据
通常是JSON字符串,
当
数据
保存到文件
中
时
,它最多使用10Mb的磁盘。但是,
当
文件被
压缩
(.zip)
时<
浏览 1
提问于2014-11-03
得票数 18
回答已采纳
4
回答
如何在
写入
文件
时
将其
压缩
?
java
、
file
、
zip
、
stream
、
compression
有没有人知道
压缩
你正在
写入
的流的方法?我正在尝试避免将文件
写入
磁盘,并且想知道
是否
可以
在
您将
数据
写入
到流
中
时
压缩
数据
。 这背后的用例是原始文件将非常大,
我们
希望避免将整个文件解
压缩
到磁盘上。
浏览 4
提问于2010-11-30
得票数 7
回答已采纳
1
回答
如何保持量角器运转?
javascript
、
sql-server
、
protractor
我试图使用
NodeJs
的sql服务器驱动程序
在
量角器测试
中
访问Db (量角器是一个
nodejs
应用程序,所以这没有问题)
我们
可以
检查一些隐藏的东西
是否
被正确地
写入
到
数据
库
中
,这些东西
在
UI上是看不到的(例如,e.x日志,..)
我们
可
浏览 1
提问于2015-01-26
得票数 3
回答已采纳
2
回答
压缩
格式与划界器序列
hadoop
、
compression
、
file-format
我的问题是:
是否
有任何标准
压缩
格式
可以
确保
压缩
数据
流
中
不会出现特定的分隔符序列?
我们
希望设计一种二进制文件格式,其中包含序列
数据
块(3D坐标+其他
数据
,对于这个问题并不是很重要)。每个块都应该使用标准
压缩
格式进行
压缩
,比如GZIP、ZIP、.用例如下:文件应该在Hadoop
中
以分块形式读取,因此
我们
希望能够从文件
中
的任意字节位置开始,并通过查找
浏览 3
提问于2016-07-02
得票数 1
回答已采纳
1
回答
Server
压缩
sql-server
、
compression
插入
压缩
表
时
,是将
数据
压缩
到日志文件
中
,还是
在
检查点运行并将
数据
写入
数据
文件
时
对其进行
压缩
?
浏览 1
提问于2017-11-13
得票数 0
回答已采纳
1
回答
循环缓冲区(映射器)
中
的Hadoop溢出记录
hadoop
、
compression
因此,据我所知,这些映射器有一个循环缓冲区,
当
它们决定将
数据
溢出到磁盘
时
,它们会一直
写入
,直到达到某个阈值。此过程可能涉及运行组合器并在
写入
磁盘的同时
压缩
数据
。因此,我在想,如果
我们
可以
配置为
压缩
内存
中
的
数据
并将其存储在内存
中
,这样
在
映射器结束
时
,它可能不会溢出其循环内存,因此只需溢出一次到磁盘。这个是可能的吗?和/或
浏览 0
提问于2014-12-09
得票数 0
2
回答
当
使用不同的库,如
NodeJS
中
的Zlib和.Net
中
的SharpZipLib
时
,GZip类型
压缩
比会发生变化吗?
c#
、
node.js
、
json
、
compression
、
gzip
背景:我正在为
我们
的设备测试
压缩
比。
在
设备
中
,
数据
作为Json有效负载发送。它是一种JArray格式。我将以字节为单位获取此
数据
的大小。它被送到转换器。
在
转换器
中
,此
数据
使用在
NodeJS
中
实现的Zlib库进行
压缩
。我没有权限访问这个代码。我也不认识
NodeJS
。我只知道C#。
是否
可以
使用SharpZipLib或.Net
浏览 27
提问于2021-05-25
得票数 0
回答已采纳
1
回答
在
rocksdb
中
处理副本
database
、
duplicates
、
environment
、
rocksdb
现在,在有多个
数据
库的环境
中
,我找不到一个描述。在这种情况下,键
在
环境范围内是唯一的,还是每个
数据
库都有其唯一的键?我找不到对整个环境行为的描述。
浏览 0
提问于2015-08-18
得票数 2
1
回答
MySQL故障切换和PHP
php
、
mysql
、
database-replication
我们
运行一个相当繁忙的网站,目前它运行在传统的单服务器LAMP堆栈上。 该站点有许多遗留代码,并且
数据
库非常大(
压缩
后约为50 of,因此可能是它的4到5倍。)不幸的是,这个站点非常脆弱,尽管我对只有一个
数据
库后端的服务器负载平衡很有信心,但我
在
复制之类的事情上有点迷茫。在任何时候都有大量的
数据
写入
和读取到
数据
库
中
-我认为
我们
可以
相当容易地故障转移到从MySQL
数据
库,但是我不知道
浏览 0
提问于2015-07-02
得票数 0
6
回答
在
java
中
强制刷新GZIPOutputStream
java
、
gzip
、
gzipoutputstream
我们
正在开发一个需要刷新(强制
压缩
和发送
数据
) GZIPOutputStream的程序。问题是,GZIPOutputStream的flush方法并不像预期的那样工作(强制
压缩
和发送
数据
),相反,Stream等待更多的
数据
来进行有效的
数据
压缩
。
当
您调用finish
时
,
数据
将被
压缩
并通过输出流发送,但GZIPOutputStream (而不是底层流)将被关闭,因此
在
创
浏览 3
提问于2010-09-04
得票数 18
3
回答
DotNetZip中文件大归档的
压缩
问题
c#
、
compression
、
zip
、
dotnetzip
从那里开始,它应该遍历给定位置的所有文件夹/文件,并将它们添加到存档
中
,保持精确的结构。它也应该把所有的东西
压缩
到一个合理的数量。给定的文件夹/文件的未
压缩
集合很容易达到10-25gb,创建的跨文件限制
在
每个文件大约1gb。 我让一切正常工作(使用DotNetZip)。我唯一的挑战是,实际上几乎没有经济衰退发生。考虑到下面的代码和存档
中
的大量文件,
是否
应该在将每个文件添加到zip
时
对其进行
压缩
?或者Adddirectory方法应该提
浏览 6
提问于2011-01-25
得票数 4
回答已采纳
1
回答
在
Cassandra的DateTieredCompactionStrategy
中
,内部
压缩
是如何决定的
cassandra
、
datastax
、
cassandra-2.0
、
datastax-enterprise
此外,我无法理解DateTieredCompactionStrategy
中
的
压缩
是如何发生的。如果这纯粹是由base_time_seconds决定的。这
是否
意味着最老的SSTable会一直参与
压缩
,直到它达到它的年龄?
浏览 0
提问于2016-11-15
得票数 0
2
回答
从S3和EC2存储、节点js和浏览器的请求下载速度
performance
、
node.js
、
amazon-web-services
、
amazon-s3
、
amazon-ec2
我们
将json信息存储
在
多个文件
中
--每个文件表示地图上的一个块。为了渲染地图,
我们
下载文件并处理它们来创建街道、建筑物等。最后两个值之间的区别实际上是EC2实例从桶
中
访问文件所需的时间。从S3向EC2发出请求的原因是,我知道AWS服务之间的连接非常快。我所做的另一个测试是
在
浏览器(Firefox)上进行的: 直接访问S3桶(bucket.zone.amazonaws.com/file) -~624 S3,值
在
400 S3到1000 S3之间通过EC2上的
浏览 5
提问于2013-06-18
得票数 0
1
回答
TimescaleDB和
压缩
的复杂场景
postgresql
、
timescaledb
在
启用
压缩
之前,此操作非常好:所以我的问题是:
我们
如何才能将事物分割,知道:它得到实时
浏览 0
提问于2022-06-28
得票数 2
1
回答
使用google
数据
流读取保存在google存储
中
的vis普通文本文件的
压缩
文件
时
,性能相对较差。
google-cloud-storage
、
google-cloud-dataflow
我使用从云存储
中
读取一个11.57GB的文件,并将它们
写入
谷歌BigQuery。花费了大约12分钟和30名工人。然后,我
压缩
了相同的文件(大小现在变为1.06GB),然后再使用google从谷歌存储
中
读取它们,并将它们
写入
BigQuery。现在用了大约31分钟和同样的30名工人。除了第一个
数据
流作业
中
的输入文件被解
压缩
外,两个
数据
流作业都有相同的管道选项,但是输入文件
在
第二个
数据
流作业中被
压
浏览 3
提问于2016-08-06
得票数 0
回答已采纳
1
回答
DeflateStream关闭输入流
c#
、
.net
下面是我的C#方法,用于将zlib
压缩
数据
和一些额外
数据
写入
流: compressor.Close(); }
当
调用compressor.Close()
时
,它会自动关闭
浏览 0
提问于2016-06-17
得票数 1
1
回答
为什么
我们
可以
在
net.createConnection之后立即调用socket.write?
javascript
、
node.js
我正在学习
nodejs
"net“模块。为什么
我们
可以
在
socket = net.createConnection(PORT, () => {console.log("connected")}之后立即调用socket.write("hello为什么
我们
不需要等到连接建立,也就是为什么
我们
不需要在net.createConnection的回调函数中放入socket.write?
当
套接字未连接
时
,
我们<
浏览 2
提问于2021-02-28
得票数 0
1
回答
如何在运行时判断我的进程是CPU受限的还是I/O受限的
c#
、
networking
、
.net-4.0
、
io
、
compression
我有一个通过TCP链接发送
数据
的程序。我对磁盘和网络都使用异步读写。如果我把一个放在中间(所以我
在
写到网络链接之前
压缩
,当我收到
数据
并把它写到磁盘上
时
再解
压缩
),我的CPU
在
压缩
端是受限制的。但是,如果我删除
压缩
步骤,我现在就将I/O绑定到磁盘上,并获得40,000 KB/s的传输率。
在
严格的局域网条件下,我的I/O上限将始终大于300KB/s,但是,如果我的程序
在</
浏览 1
提问于2012-11-27
得票数 2
回答已采纳
1
回答
在
Postgresql
中
存储大型
压缩
文档
postgresql
、
performance
、
compression
、
postgresql-performance
在
我工作的地方,
我们
在
一个附加到Redhat 5.11生产服务器的文件系统
中
为
我们
的客户保存了大约500,000个与处理有关的图像文件。
我们
计划升级到Redhat 7.4,并且已经为
我们
的开发
数据
库服务器进行了升级。文档数量正在增加,虽然
我们
确实需要归档旧文档,但
我们
正在讨论将文档存储到
数据
库
中
,在
数据
库
中
我们
可以</e
浏览 0
提问于2018-07-02
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
15.9 InnoDB Table and Page Compression
想要更高的压缩率?一文带你深入了解 TDengine TSZ 压缩算法
【译】Bitcoin源码之LevelDB
Gulp压缩js、css、img、html提高页面打开速度
Kafka怎么不丢数据?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券