将大CSV文件导入Tarantool

文章/答案/技术大牛

发布

1回答

csv、tarantool

我正在寻找一种方法来插入大的CSV (百万行和20-30个字段)到tarantool数据库以最快的方式，最好是通过一个连接器(python或c#)，并访问空间，稍后在应用程序中使用python/c#。我是第一次接触tarantool，当我查看tarantool的文档时，我在这里找到了CSV内置模块https://www.tarantool.io/en/doc/2.5/reference/re

浏览 26提问于2020-07-20得票数 1

1回答

将大型csv导入规范化关系数据库(包含多个表)的最佳实践是什么？

mysql、sql、database、postgresql、csv

目前，我有一个包含所有字段的大csv文件。我在想几种解决方案：

浏览 1提问于2018-11-30得票数 2

回答已采纳

2回答

将CSV批量导入SQL Server

sql、sql-server、csv

我有一个包含超过1,00000行的.CSV文件。BULK INSERT [dbo].[Root] WITHFIELDTERMINATOR = ',',)没有终结符,或\n。我发现在这一排的尽

浏览 2提问于2013-04-19得票数 1

1回答

将csv文件导入Server数据库表的Powershell函数

sql-server、powershell、csv、import

我创建了一个PowerShell函数，它可以从.csv文件中批量复制数据(第一行是标题)，并将数据插入到Server数据库表中。$i = 0}我是否可以得到一些协助，作为我需要做的，以修改上述功能，以实现这一点？

浏览 0提问于2019-05-01得票数 4

1回答

将.CSV大容量导入SQL表

sql、csv、sql-server-2008-r2、bulk-import

我在将.csv文件导入sql表时遇到了问题。从.csv进行的大容量导入不会产生任何错误，并且很好地完成，但是数据不会导入到SQL表中。.csv中有数据知道会是什么吗？如果存在编码问题，在导入或强制sql导入之前，我如何检查.csv<e

浏览 5提问于2012-12-28得票数 0

1回答

准确的lua二进制是否可以在luarocks编译选项中指定？

luarocks

现在，我必须创建一个指向我正在使用的lua运行时的符号链接：然后，我必须将--lua-suffix="-tarantool"用于.有没有办法在不使用符号链接的情况下指定二进制文件的确切名称？例如：--with-lua-bin=$PREFIX/bin/tarantool 我检查了选项，似乎没有这样的选项：

浏览 0提问于2016-04-04得票数 1

回答已采纳

1回答

存储扩展事件的所有记录的计数

sql-server、count、extended-events

我想得到所有存储在扩展事件中的记录的计数，但是该文件是一个巨大的文件，在它上运行一个查询需要几分钟，并且不能满足我的需要。我想知道在sql服务器中有什么地方可以获得这些数据吗？

浏览 4提问于2022-01-31得票数 0

1回答

大容量插入在最后一行的行结束符中失败

sql-server、csv、bulkinsert

我将使用cygwin命令编译的CSV导入到MS 2014中，使用：from 'D:\tail.csv' 如果我在最后一个数据行的末尾结束文件，那么大<

浏览 0提问于2014-08-13得票数 2

1回答

将大量数据行从Access迁移到SQL的最佳方法

c#、sql

我有几个有超过40000000行的Access数据库。我使用数据读取器读取每一行，并将每一行逐一插入到SQL数据库中。但这似乎需要数周甚至更长的时间！

浏览 3提问于2016-06-24得票数 1

回答已采纳

1回答

为什么在Neo4j中导入10倍大的文件要比导入原始字段的时间长10倍？

csv、neo4j

你好，我试图通过csv文件将数据导入Neo4j。假设我有10个csv文件，每个文件都有大约3000行2列。都是一样的格式。当我导入一个文件时，大约需要30秒，但是当我将10个csv文件组合成一个大的csv文件时，这个文件现在有30000行和2列，并尝试用相同的代码导入它，这需要这么长的时间，

浏览 0提问于2014-08-06得票数 0

回答已采纳

1回答

由于磁盘写入错误，Tarantool没有启动。

docker、tarantool

如果我在一个成功启动的容器中作为exec作为shell，我会看到xlog文件更大，文件的所有者是tarantool:tarantool。-57f6cd796f18 2020-10-02 21:22:29.708 1 main/103/tarantool.103 I>将id 1分配给副本74d33452-7f39-4ebf-a2f7-c1da6cb8c54b2020-10-02 21:22:29.710 1 main/103/taran

浏览 2提问于2020-10-02得票数 5

回答已采纳

1回答

如何使用MapReduce连接两个表？

mapreduce

我有两个表employees和salaries就像这样 `emp_no` int(11) NOT NULL, `first_name` varchar(14) NOT NULL, `gender` enum('M','F') NOT NULL, PRIMARY KEY (`emp_no`) ) ENGI

浏览 1提问于2014-08-01得票数 0

1回答

将数据从CSV导入到现有Post逗号表中

database、postgresql、subquery

如何将数据从csv文件导入到PostgreSQL.I中已经存在的表中，我只需要对现有表进行添加，但是由于数据非常大，所以我将其导入CSV。任何建议都会很有帮助。

浏览 4提问于2016-09-19得票数 0

回答已采纳

1回答

仅将匹配的数据从CSV导入到MySQL

mysql、sql、csv

我需要从非常大的csv文件中导入一些数据，这大约是1 1GB。我只想导入匹配的数据，而不是导入所有数据，我认为这将比导入所有数据更容易和更快。我需要搜索CSV文件的"Post Code column“列，如果它包含LS1或LS2或LS10，将匹配的数据导入到SQL中的tabel中？

浏览 0提问于2016-10-16得票数 0

1回答

如何在Tarantool中从SQL调用C函数？

sql、c、tarantool

如何在Tarantool中调用SQL中的C-函数？如果能看到一个例子就太好了。

浏览 7提问于2020-11-09得票数 2

回答已采纳

1回答

如何将从csv文件大容量导入到sql服务器的lat作为空间数据类型？

sql-server

我如何将长时间从csv文件作为空间数据类型的lat大容量导入到sql服务器，而不是将类型为double的两个单独的列导入？给定两个列的输入.csv文件：希望创建具有与空间数据类型对应的一列的sql。

浏览 2提问于2015-06-23得票数 0

1回答

大容量插入包括行终止符

sql-server、sql-server-2008-r2

我正在将数据从管道分隔的CSV文件大容量导入到SQL Server中。数据的格式如下通过在十六进制编辑器中查看CSV文件，我已经验证了该文件是UTF-8格式的，并且以"\r\n“结尾。该命令为WITH (FIRSTROW=1, MAXERRORS=0, BATCHSIZE=10000,

浏览 2提问于2013-05-01得票数 1

回答已采纳

1回答

为什么熊猫和R在数据存储器的使用上有这么大的差异？

python、r、pandas、dataframe、memory

我正在处理来自的数据(使用“导出器”按钮下载CSV文件)。当我使用read.csv()将数据导入R时，它需要3.75GB内存，而当我使用pd.read_csv()将数据导入熊猫时，它占用6.6GB内存。library(pryr) 蟒蛇： df.info(memory_usage="deep"

浏览 2提问于2021-03-17得票数 4

回答已采纳

1回答

将超大的sqlite表导入到BigQuery中

sqlite、google-bigquery

我试图想出最好的方法来解决这个问题，并想出了以下几点：写些东西，手动写一个，巨大的CSV。由于许多原因，这似乎是个坏主意，但最大的原因是，其中一个字段是文本数据，它不可避免地会与BQ的导入工具所支持的任何分隔符搞砸，而且我也不确定BQ是否能够支持一个那么大的CSV。编写一个脚本，手动将所有内容导出到一系列CSV，比如每一行大约100 k行--主要问题是，这样做需要导入50个文件。将所有东西写到一系列的JSON中，并尝试从那里找到

浏览 1提问于2016-11-27得票数 0

回答已采纳

1回答

用于将数据导入oracle sql developer 4.1.3.20版的高效查询

oracle、oracle-sqldeveloper

我正在尝试将CSV文件导入oracle表。而不是通过导入向导。请给出循序渐进的选项。

浏览 0提问于2016-03-18得票数 1

点击加载更多