在spark中为流数据写入预写日志(WAL)在性能和吞吐量方面是否是一项昂贵的操作？如果我能得到一些WAL的性能指标，那将会非常有帮助。
浏览 10提问于2017-01-20得票数 0
6回答
我读到了Voltdb的。命令日志记录事务调用，而不是像在预写日志中那样记录每个行的更改。通过只记录调用，命令日志被保持在最低限度，从而限制了磁盘I/O对性能的影响。谁能解释为什么Voltdb使用命令日志背后的数据库理论，以及为什么标准SQL数据库，如Postgres，MySQL，SQLServer，O
浏览 2提问于2013-01-06得票数 51
回答已采纳
我在动态加密数据，并将其写入网络流。
我应该在每个16字节加密块数据可用时立即写入流，还是应该对其进行缓冲？发送成串的16字节写操作而不是发送单个20 or或1 or写操作是否会对性能造成影响？
浏览 0提问于2011-06-28得票数 2
回答已采纳
我在图书馆/留言处找到了他们的位置。有三个文件2. chat.db-wal如果我运行一个节点脚本，在向我看到的某个人发送iMessage时监视文件更改，则chat.db-wal会立即更改
浏览 7提问于2016-11-23得票数 0
回答已采纳
根据spark streaming文档，已排队但未处理的数据流将在每个checkpointInterval之后写入检查点目录。但同时有一个配置spark.streaming.receiver.writeAheadLog.enable = true，根据spark文档“从接收器接收的所有数据都会写入配置检查点目录中的预写日志”。spark给出的每个
浏览 3提问于2017-12-07得票数 1
我想在Postgres上做一些预写日志(WAL)的工作。谁能告诉我Postgres代码库中的WAL实现？我只想知道当前的实现，并开始修改它。Postgres的任何版本都可以，除非它有WAL。
浏览 0提问于2014-09-17得票数 0
2回答
但是，我发现在某些情况下，返回的检查站没有完成。下面的代码是在2.1.0版本(针对Scala2.11编译)下以local[2]模式运行的(尽管我在运行它时注意到了类似的现象)：2016-12-29T16:53:33.185Z[Europe/London] Current state: {WARN:=2, ERROR:=1}2016-12-29T16:54:30
浏览 0提问于2016-12-29得票数 2
回答已采纳
3回答
spark流检查点恢复非常非常慢
、、、、
目标:通过spark streaming.Situation:从Kinesis读取数据并以拼图格式存储到S3应用程序最初运行良好，运行批处理时间为1小时，平均处理时间不到30分钟。我们尝试以1分钟的批处理间隔测试相同的内容，处理运行正常，批处理需要1.2分钟才能完成。当我们从检查点恢复时，每批大约需要15分钟。注意:我们对检查点使用s3，每个执行器使用19g内存和3个内核首次运行-在检查点恢复之前
尝试从检查点恢复的</e
浏览 76提问于2016-07-15得票数 21
回答已采纳
1回答
在将整个集合(A)复制到另一个集合(B)后，统计数据不同：-收集统计数据A:1.7MIO记录-收集统计数据B: 1.6 Mio记录-直接扫描(通过返回长度( A/B返回a._key中的I))计数1.7MIO记录(两个集合)。不过，这些统计数字告诉了我什么？
浏览 1提问于2015-02-02得票数 2
回答已采纳
1回答
但是在阅读了enableWriteAheadLogging的文档之后，我仍然感到困惑
这就是令人困惑的地方。如果我想从同步多线程访问数据库，我可以访问Singleton对SQLiteOpenHel
浏览 9提问于2018-01-15得票数 6
1回答
在我的数据库密集型安卓应用程序中，我们在有能力的设备(honeycomb+)上启用了预写日志，希望看到读操作并行进行，并提升性能。通过traceview进行的调试表明，我们没有得到我们所希望的并行读取。我通过在SQLiteDatabase上启用详细日志记录进行了一些调试：
adb shell setprop log.tag.SQLiteDatabase VERBO
浏览 1提问于2012-07-04得票数 0
2回答
我正在使用spark读取CSV管道分隔的数据文件。这是有资格引用的。一个文本块中有一个/n，它会导致读取损坏。我不明白的是，它是引用限定文本，所以它肯定应该跳过它！？行本身是CR+LN分隔的。我可以在extract上清除它们，但对我来说似乎不是那么优雅。这就是我用来加载数据的代码val df = <e
浏览 2提问于2018-08-10得票数 0
回答已采纳
当我打电话的时候在我的SQLiteOpenHelper子类的构造函数中，第一次使用数据库时，在创建数据库之后，我可以看到以下错误日志项：当应用程序被杀死并随后启动
浏览 4提问于2015-02-07得票数 3
回答已采纳
如果RegionServer崩溃和数据尚未写入DataNode，会发生什么情况？
如果有些RegionServers死了，会影响数据的一致性吗？
浏览 2提问于2016-08-02得票数 0
Memgraph是一个内存中的数据库.这是否意味着当我关闭计算机时，数据就会丢失？
是否需要使用GQLAlchemy库作为磁盘存储解决方案以确保数据持久性？
浏览 14提问于2022-09-07得票数 0
回答已采纳
2回答
JDBC源的火花结构化流
、、、、
有人能让我知道是否有可能从JDBC源中触发结构化流吗？例如，SQL或任何RDBMS。
但是，我想知道它是否在Apache上得到了官方的支持？
浏览 8提问于2022-02-26得票数 1
回答已采纳
1回答
我的公司对保持我们的核心系统的性能非常敏感。我们的用户还需要在灾难发生时将所有数据复制或镜像到另一个位置(在城市范围内的另一个位置)。一个软件供应商提出了一个实现GoldenGate系统的建议。我很难相信这个建议，说它不会影响性能，因为它利用了在数据库写入过程中编写的日志。他们一直说，读取日志
浏览 0提问于2010-09-28得票数 0
我在一个概念证明应用程序中评估Ignite，该应用程序将合理数量的数据加载到一个启用持久性的单个嵌入式节点中。磁盘上的存储容量大约是20 GB，我已经为内存缓存分配了8 GB的RAM (在16种可用内存中)。
在将这些初始数据加载到数据库后，我发现初创企业花费的时间太长，无法实现，特别是对于开发周期而言。查看日志，有两个步骤占了大多数时间
浏览 1提问于2020-01-23得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
