MySQL加载数据本地文件避免重复

文章/答案/技术大牛

发布

1回答

mysql、load-data-infile

我使用LOAD DATA LOCAL INFILE语句快速上传文件。LINES TERMINATED BY '\n' (sampleID, testID); 但是有一些文件我过去已经加载过了，我想避免重复。数据库结构包含一个自动递增主键作为附加列。在上传之前不必打开每个文件并进行搜索以确定这些记录是否已经存在，有没有一种方法可以修改

浏览 27提问于2019-06-23得票数 0

回答已采纳

3回答

为django开发团队维护MySQL数据库的选项

mysql、django、ubuntu、mysqldump

有哪些选项可以避免将本地django开发服务器指向远程MySQL数据库的延迟？如果开发人员使用本地MySQL数据库来避免延迟，那么有哪些有用的工具可以将远程数据库的模式更新与本地数据库同步，并避免手动创建、下载和加载转储文件？谢谢!

浏览 1提问于2009-10-15得票数 1

回答已采纳

5回答

如何在更新MySQL数据库时避免重复？

mysql、database

我每天都会收到来自外部服务器的MySQL转储文件.sql，但我无法控制它。我创建了一个本地数据库，将所有数据存储在.sql文件中。我希望我可以设置一个脚本，每天自动更新我的本地数据库。我每天收到的sql文件包含本地数据库中已经存在的旧数据。如何避免重复这些旧数据，而只将新数据插入本地M

浏览 0提问于2013-07-01得票数 2

2回答

如何使用防止2013年错误(HY000)

mysql、amazon-aurora、aws-serverless

在上执行长期运行的查询时，几分钟后我看到了以下错误：查询使用mysql加载数据本地INFILE将大型(多GB)数据文件加载到数据库中。我怎样才能避免这些错误？

浏览 1提问于2019-07-18得票数 1

1回答

当我加载INFILE时，如何知道csv错误中的哪一行？

php、mysql

test` OPTIONALLY ENCLOSED BY '\"' $result = mysql_query

浏览 0提问于2013-08-13得票数 2

回答已采纳

1回答

从CSV数据文件大容量插入MySQL

mysql、csv、shell

我有一些CSV数据文件要导入到mySQL中。我想在shell脚本中进行插入，这样它就可以自动化了。然而，我对在脚本中使用明文用户名和密码感到有点厌倦。数据库表(将原始数据导入其中)基于表列具有唯一的键。在我试图导入的数据中也可能存在重复的情况。与其使用mySQL中断(即整个插入失败)，我更希望能够将mySQL告诉或无论我选择哪种设置，都是针

浏览 4提问于2010-05-11得票数 4

回答已采纳

2回答

通过消除重复将文本文件中的数据加载到mysql数据库

mysql

我想将数据从文本文件加载到数据库，如果数据已经存在，我需要在加载时转义该数据。我使用下面的查询将文本文件中的数据加载到mysql数据库。“将数据infile 'F:/wbrdata.txt‘加载到表wbrdatatable字段中，可选择使用’”结束于'，‘’的行括起来。\r\n‘忽略1行(channel，time，

浏览 1提问于2011-12-14得票数 0

回答已采纳

1回答

将数据从excel导入mysql数据库

mysql

可能重复：将数据本地INFILE 'd:/Book1.csv‘加载到表exp字段，以'，’行终止于'\n'；我收到一个错误文件d:/Book1.csv‘找不到。有什么我想做的吗。

浏览 0提问于2011-07-29得票数 0

1回答

使用带有重音的文件名加载MySQL数据

mysql

我试图将一个.txt文件加载到MySQL表中(通过本地数据)，但是我使用的文件中，有些文件的名称中有一个MySQL无法识别的重音。当我试图执行该语句时，会收到以下错误：如果从我的.txt文件中删除所有重音，数据库就可以找到这些文件，我就可以避免这个错误。

浏览 4提问于2014-09-01得票数 1

1回答

Hexadeicimal数据及其对应的MySQL字段类型

mysql、node.js

在将文件映像插入数据库之前，我使用了一些Node.js代码来流文件图像。我在将数据插入相关的MySQL表字段时遇到了问题。因此，我在服务器上运行console.log(streamedFileContent)来查看这些数据是关于什么的，我得到了以下内容：c 08 64 88 00 ... 150

浏览 0提问于2019-03-27得票数 0

回答已采纳

2回答

如何从MySQL连接器/C++获取本机C应用编程接口连接结构？

c++、mysql、mysql-connector

我正在使用MySQL连接器/ C++从C++程序与MySQL服务器通信。出于某些原因(请参阅下面的背景)，我在某些时候需要本机C API连接结构。如何从Connector/C++类中获取它？背景：我希望将大量数据(最多20-30亿元组)从客户机主内存加载到服务器中。因此，我想尝试LOAD DATA INFILE语句。为了避免先将整个数据写入文本文件，我想定义我自己的本地infile处理程序，它直接从主内存读取数据

浏览 3提问于2013-01-19得票数 5

回答已采纳

2回答

如果存在更新，则插入csv数据MySQL

mysql、csv、sql-update、sql-insert

我正在使用从第三方源中提取的csv文件填充MySQL表。每天都更新csv，如果出现a、b和c列，我希望更新MySQL表中的行，否则插入行。我使用加载数据填充的初始加载，但我想更新针对每天的csv拉。任何关于如何在INSERT...ON中嵌套加载数据本地信息的建议都会重复a，b，c--或者如果这是最好的方法，我们将非常感激。

浏览 1提问于2015-08-25得票数 0

回答已采纳

1回答

linux文件系统中索引文件的Ruby进程

mysql、ruby-on-rails、ruby、linux、filesystems

我正在开发一个小型照片共享Rails应用程序，它将从本地文件系统上的照片库中读取和显示照片。为了避免每次用户加载页面时都扫描文件系统，我希望设置一个每小时一次的cron作业，对所有文件进行索引，并将其存储在本地MySQL表中。扫描本地文件系统和存储本地文件元数据(例如大小、文件类型、修改日期等)的最佳方法是什么？有方便的红宝石库吗？我还希望能够“

浏览 3提问于2015-05-11得票数 0

回答已采纳

1回答

如何用数据库检查js中的电子邮件验证

php、codeigniter、duplicates、email-validation

我试图避免在MySQL数据库中添加重复的电子邮件地址。是否有任何不需要重新加载的javascript检查方法？就像在Gmail签到的表格里一样？

浏览 2提问于2015-02-19得票数 0

回答已采纳

2回答

将CSV文件从导入

csv、import、google-cloud-storage、google-cloud-sql

我试图使用下面的命令将csv文件直接导入。我已经确认文件存在。但是，请注意，错误字符串中的路径只有一个'/‘，这是一个bug还是我遗漏了一些明显的东西？但是，UI不支持非逗号分隔文件.

浏览 4提问于2015-03-10得票数 3

回答已采纳

2回答

这段代码会删除重复项吗？

mysql、linux

我想用它从mysql数据库的行中获取数据到文本文件中(一个条目在另一个条目下，每个文件50个条目)： $ mysql --user=XXX --password=XXX --batch --skip-column-names但我也不想将重复的条目复制到这些文件中。这段代码会删除重复项吗?或者我需要添加一些东西来避免复制重复项吗？

浏览 1提问于2009-08-28得票数 1

回答已采纳

1回答

加载数据插入数据库访问权限/权限

mysql、file-upload、privileges

我需要将CSV文件从客户端机器加载到MySQL服务器数据库。我正在尝试加载数据信息。我在mysql文档中碰到了这条线：当读取位于服务器上的文本文件时，这些文件必须驻留在数据</em

浏览 1提问于2013-05-08得票数 1

回答已采纳

1回答

VARCHAR(4)存储四个以上的字符

php、mysql、zend-db-table

我有一个VARCHAR(4)列，它从一个可能超过4个字符的输入接收数据。不过，这没问题，我让MySQL自然地(或者我是这么想的)切断了字符的结尾。奇怪的是，当我稍后在PHP中(使用PDO驱动程序)查看数据库行结果时，显示的是整个字符串，而不仅仅是4个字符。奇怪的是，如果我在MySQL命令行界面上执行SELECT查询，它只返回4个字符。

浏览 1提问于2011-11-06得票数 3

回答已采纳

2回答

如何使用php和mysql避免代码重复

php、mysql

我需要创建一个网站，它允许用户创建一个被保存到数据库中的作业，然后所有的作业都可以从网站上的不同页面中查看。我已经成功地让它工作了，但是我不得不复制在PHP中设置的所有MySQL日志。我想避免这种重复，并尝试使用自动加载器，但没有成功。基本上，前5个变量是从一个单独的页面重复的，在这个页面中，我要将数据添加到数据库中，如果可能的话，我想避免这种情况。代码本身起作用，我只是觉得这里一定有避免重复的方法

浏览 3提问于2015-12-10得票数 1

回答已采纳

2回答

有没有办法镜像本地和在线MySQL数据库？

mysql、localhost

在做web工作时，我发现运行WAMP并在本地工作是最快的--这不可避免地导致了以下问题:是否可以镜像(或者非常容易地复制/克隆) MySQL数据库？我的想法是，我可以在本地工作--包括数据库操作，并轻松地将所有工作转移到网上。如果这是一个重复的问题，我很抱歉--我在Stack Overflow和Google上四处寻找，但没有真正找到任何东西。

浏览 0提问于2011-01-30得票数 1

回答已采纳

点击加载更多