Go支持分散-聚集IO操作

文章/答案/技术大牛

发布

1回答

go、io、system-calls、unix-socket

我想在Go中开发一个基于Unix Domain Sockets的高性能客户端-服务器通信协议。具体地说，我正在考虑采用Vector-IO操作(writev/readv系统调用)，以避免结构化数据序列化的开销。然而，我认为Go并不完全支持scatter-gather操作的使用。我发现了一些为writev操作提供Go支持的尝试，但不是readv。有没有办法在Go中实现这一点，或者在性能方面有什么替代方案？

浏览 13提问于2019-07-29得票数 1

回答已采纳

1回答

Server 2014:为什么聚集索引重建要比初始索引创建快得多？

sql-server、index、index-rebuild

此表上有一个分区聚集索引，它通过GUID对数据进行排序。值得注意的是，当查看表的大小报告时，表本身需要3TB，但是索引是1gb或更少。编辑:这是我最初创建并重新构建的聚集索引。这个表上没有其他索引。

浏览 0提问于2022-09-30得票数 -1

2回答

AVX中的散射内部函数

intrinsics、avx、avx2

你知道AVX或AVX2指令集是否支持它们吗？

浏览 1提问于2012-12-24得票数 14

回答已采纳

4回答

分散/收集.NET中的异步套接字I/O

.net、asynchronous、stream

因此，分散/聚集API将极大地减少上下文切换的数量(和CPU使用率)。此接口是否使用LPBUFFERS Win32接口？是否有用于分散/聚集I/O的替代API？

浏览 0提问于2008-09-22得票数 2

回答已采纳

3回答

带和不带分散/收集操作的零拷贝

c、linux、network-programming、linux-kernel、zero-copy

它讨论了零拷贝与无散射/聚集支持之间的区别。网卡与SG支持，数据副本如下总之，在SG支持下，零拷贝可以消除一个CPU副本.我的问题是为什么内核缓冲区中的数据可能是分散的

浏览 2提问于2012-03-19得票数 6

回答已采纳

7回答

为并行编程编写伪代码

parallel-processing、pseudocode

如何表示分散、聚集、减少、广播和点对点通信等操作？对此有什么标准吗？

浏览 0提问于2011-04-07得票数 29

回答已采纳

1回答

Linux中的IO多路复用

linux、sockets、io、aio

我知道在谈论异步IO时，这就是所谓的聚集/分散，但我在Linux AIO文档中找不到任何东西。

浏览 2提问于2010-08-20得票数 0

回答已采纳

1回答

是否可以在直接设备上使用libaio的向量读写功能？

c++、linux-device-driver、aio

我假设操作的磁盘端仍然需要扇区对齐(它毕竟是在幕后与块设备对话)。我的散布聚集列表可以将小块分散到用户空间中未对齐的目标上吗？我正在debian Jessie上工作，并且已经验证了libaio中对矢量I/O的支持。

浏览 3提问于2015-08-01得票数 1

3回答

如何在numpy中执行分散/聚集操作

python、numpy

假设我有数组：indices = array((1,1,1,1))a[indices] += 1array([1, 3,square(self.normals), axis=1))我得到了一些非常错误的结果，因为我的索引赋值操作中忽略了重复项

浏览 2提问于2010-09-29得票数 7

1回答

数据库引擎优化顾问

sql-server、tuning

数据库设计得有点糟糕，表上没有主键，而且表上也没有聚集索引。我找到了大约80张桌子。现在，如果没有索引，查询显然会运行缓慢，但是当我将它们放到DTA中时，它总是要求我创建一个非聚集索引(即使在堆上)。有点像 ON [Scorecard[IO_Status_MAster] [WBS] ASC INCLUDE ([OrderNum

浏览 0提问于2017-09-15得票数 0

回答已采纳

2回答

重建-聚集索引，表，还是两者兼而有之？

sql-server、sql-server-2008-r2、optimization、fragmentation

聚集索引非常分散，我想做一个ALTER INDEX REBUILD来清理它。当我更改列时，通常也会执行ALTER TABLE REBUILD操作，因为这会清除该操作中的任何指针或拆分。我需要两者都做吗，因为我们谈论的是聚集索引，它本质上就是表？

浏览 0提问于2012-04-18得票数 10

回答已采纳

1回答

为什么在sql server中，此聚集索引的成本高于相同的非聚集索引？

sql-server

我一直认为聚集索引的速度要快得多，因为实际的数据行包含在索引树的叶级别中，而非聚集索引只包含索引列值以及指向其余行数据位置的指针。因此，非群集比群集具有更多的IO。为了测试这一点，我使用了一个1,000,000个记录表，其中EmployeeID (第一列)作为主键，然后还在同一字段上添加了一个非聚集索引。然后，我使用查询提示来比较使用的每个索引的结果。Select EmployeeID from Employees with(index(PK_EmployeeID)) select Emloyee

浏览 1提问于2013-10-10得票数 1

3回答

记录大小是否影响SQL性能？

sql-server、entity-framework-core

我们的团队正在使用，使用实体框架核心进行访问。每一项记录都很小，而且效率很高：加2 varchar(128) -比其他列大得多。我们的问题是:将这些较大的列放在不同的表中(对create施加连接惩罚，但只对极小一部分的读取施加连接惩罚)，而编写两个存储过程(其中一个用于检索大多数查询的非varchar列，另一个在需要时检索所有列)

浏览 4提问于2021-01-21得票数 0

4回答

为什么SQL Server查询优化器有时忽略明显的集群主键？

sql-server、sql-execution-plan

我一直在为这件事挠头。实际表格： [id] [int] IDENTITY(1,1) NOT NULL, [uid] [int] NOT NULL, [msg] [varchar](7000

浏览 5提问于2016-06-05得票数 2

回答已采纳

2回答

mule :分散和聚集:如何将分散聚集的结果与原始有效负载进行聚合？

mule

我有一个scatter gather组件，它调用多个服务并将结果聚合为地图列表。我想知道有没有办法将原始的有效负载(有效负载是Scatter Gather的输入)与此结果合并？

浏览 5提问于2017-12-05得票数 0

4回答

我们应该在什么时候使用分散/聚集(向量化) IO？

windows、file-io、filesystems、ntfs

Windows文件系统支持分散/收集IO(课程，其他平台支持)你能给我解释一个恰当的例子吗？我们可以从使用I/O机制中获得什么好处呢？(仅仅是一个小的IO请求？)

浏览 0提问于2010-08-22得票数 6

回答已采纳

2回答

Java中使用拆分和聚合的并行作业执行

java、multithreading、jobs

我们正在重写现有的应用程序，需要对数据库的大量读/写支持。为此，我们继续在MySQL上进行分片。由于我们允许批量API用于读/写，这将意味着在不同的分片上并行执行查询。你能推荐在Java中支持同样的框架吗，主要集中在拆分和聚合作业上。基本上，我将定义两个接口ReadTask和WriteTask，这些任务的实现将是作业，它们将作为并行执行的列表提交。

浏览 2提问于2018-03-05得票数 0

1回答

索引视图的操作是否并行进行？

sql-server-2005、index、execution-plan、materialized-view

当我插入具有聚集索引的视图的表中时，估计的执行计划似乎会并行执行表插入和视图的聚集索引插入操作。为什么S的%加起来不等于100%呢？DROP VIEW _AView*/ GO GO CREATE UNIQUE CLUSTERED INDEX [IX__AView] ON [dbo].[_AVie

浏览 0提问于2012-02-09得票数 3

回答已采纳

3回答

无法在Azure Sql中更改复合主键

sql、sql-server、azure、azure-sql-database、composite-key

STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON)GO ALTER TABLE tbl

浏览 8提问于2015-03-26得票数 0

回答已采纳

1回答

如果需要数据包报头的话，最有效的方法是在UDP上发送大的连续缓冲区？

c++、performance、networking

我正试图找到一种最有效的方法，将大量数据从UDP套接字中流出来。使用双(或三重)缓冲方法，即一个线程用数据填充一个大缓冲区，然后另一个线程获取缓冲区的所有权，并通过套接字将其流出来，这似乎比发送发送方线程小数据包大小的块更有效。到目前为止，我认为实现这一目标的最佳方法是在发送之前将数据的每个字节从大型缓冲区中复制出来，类似于下面的代码：{ * A large buffer, simulating a ping-

浏览 0提问于2020-03-02得票数 0

点击加载更多