csv列中数百万个数据值的频率
CSV（Comma-Separated Values）是一种常见的文件格式，用于存储和传输以逗号分隔的数据。在处理包含数百万个数据值的CSV列时，可以通过以下步骤计算频率：
- 读取CSV文件：使用编程语言中的文件读取函数或库，如Python中的
csv模块，读取CSV文件并将数据加载到内存中。 - 解析数据：将读取的CSV数据解析为可操作的数据结构，如数组或列表。根据CSV文件的结构，可以使用逗号或其他分隔符将每行数据拆分为单独的值。
- 统计频率：遍历数据结构，使用哈希表或字典来记录每个数据值的出现次数。对于每个数据值，如果它已经在哈希表中存在，则增加其对应的计数器；否则，在哈希表中添加该数据值并将计数器初始化为1。
- 排序结果：根据频率对数据值进行排序，以便找到出现频率最高的值。可以使用排序算法，如快速排序或堆排序，对频率进行排序。
- 输出结果：将排序后的结果以适当的格式输出，如打印到控制台或写入到文件。可以按照需求选择输出前几个频率最高的数据值，或者输出所有数据值及其频率。
对于大规模的数据集，可能需要考虑使用分布式计算或并行计算来加速处理过程。此外，还可以使用压缩算法来减小CSV文件的大小，以节省存储空间和提高读取速度。
腾讯云提供了一系列与数据处理和分析相关的产品和服务，如云数据库 TencentDB、云原生数据库 TDSQL、云数据仓库 CDW、云数据湖 CDL、云数据集市 DMC 等。这些产品可以帮助用户存储、管理和分析大规模数据集，并提供高可用性、高性能和安全的数据处理能力。
更多关于腾讯云数据处理和分析产品的详细信息，请访问腾讯云官方网站：
请注意，以上答案仅供参考，具体的解决方案和产品选择应根据实际需求和情况进行评估和决策。
相关·内容
我正在尝试通过它的名称删除超过数百万行，这是超过1000个唯一值。
有一个主数据帧(df_summary)和另一个数据帧，其中包含必须从主数据帧中删除的行的名称。
删除一些列不是问题，但是需要删除的唯一值的数量太多了，无法手动执行。因此，我尝试遍历它。
“两个数据帧的整体外观，列后面有许多列”
以下是我尝试过的方法：
from pandas import read_csv
import pandas as pd
df_summary = read_csv ('path.csv', sep=',')
rows_to_remove = read_csv ('
浏览 28提问于2019-10-25得票数 0
回答已采纳
我是一个新手R用户，并有一个300万行数据集。我正在使用R3.0.1。我在R中有一个数据框架，如下所示：
A1 B1
1 50
1 50
1 45
2 20
2 20
3 15
4 30
4 30
我想知道，如果A1中有相同值的倍数，那么对应值在B1列中匹配的百分比是多少？
在上面的示例中，有7行在A1中是重复的，它们的对应值匹配6/7次。如何才能得到数百万行的结果？
注:对于A1中的一组给定值，B列中的唯一值不会超过
浏览 1提问于2014-08-08得票数 0
回答已采纳
1回答
哪些代码在数据库中具有对应关系
、、、、
我面临的任务是必须在一个包含数百万条记录的数据库中查找，其中1500条记录中的代码具有对应的记录，其中哪些记录存在于数据库中。例如，我在csv文件中有1500个in。我想知道数据库中存在哪些I，因此哪些I是正确的，哪些I不正确。
有没有更好的方法可以不用"... WHERE id IN (1, 2, 3, ..., 1500);“来做这件事？有问题的数据库/语言是ORACLE PL/SQL。
提前感谢您的帮助。
浏览 0提问于2012-07-30得票数 1
回答已采纳
1回答
我目前正在做一个项目，在这个项目中，我记录了手机周期性运动时加速器的大小，当我用python将其可视化并使其平滑时，这一点非常明显。但是，我正在尝试以编程方式获取信号的频率(mag)，到目前为止，我所有的尝试都失败了。数据存储在csv中，其中包括几列，但我提取了magnitude列，使用低通滤波器对其进行平滑处理，最后尝试对过滤后的幅值数组使用numpy的fft函数，但没有得到预期的结果。 这是一张经过平滑处理后的可视化图像： ? 正如你所看到的，它是相当周期性的，你可以通过观察它来判断，但我不知道为什么FFT无法捕捉到这一点。 我尝试了numpy package和scipy的FFT
浏览 111提问于2019-04-05得票数 1
2回答
在.CSV中查找唯一值
、、、、
我有一个带有吨的.CSV数据文件，我指的是一吨(80+百万行)数据。
数据都在两列中，如下所示：
src | dst
123123 | 456456
321321 | 654654
987987 | 789789
123123 | 456456
以8000万条线路为例。
(注意:我知道定界符应该是.CSV中的'，但在这种情况下，它是一个‘\’。文件扩展名仍然是.CSV)
我试图找出如何编写一个程序来读取所有的数据，并在“src”字段中打印出重复值的数量。例如，在我的示例中，输出看起来应该是'1231
浏览 5提问于2016-06-07得票数 2
回答已采纳
我试图从我已将数据转储到的CSV文件中将数据加载到表中。问题是，CSV文件是使用is分隔的，而且有些数据中包含的字符为is。因此，加载时会出现一个错误，因为一些额外的字符被读取为额外的列。
我想要做的是创建一个SQL查询，该查询将识别哪些行的数据中包含这个\\字符，然后在其中加上一个引号。因此，与包含A的行(在两列中以数据的形式读取)不同，我们有“A=B”。
我本来只打算创建一个查询，其中所有列的数据都有引号，但问题是，我有数百万行，其中只有大约50行存在分隔字符是该列中数据的一部分的问题。与其在所有数据周围添加引号，我希望能够只在有问题的数据周围添加引号。
是否有一种有效/简单的方法来实现这
浏览 7提问于2022-04-14得票数 0
回答已采纳
3回答
表索引建议
、、、
我正在处理许多到多个关系，并且我阅读了一些文档，这些文档建议不要使用主键或索引。
我很想听听你对我的数据库的看法。
它只有两个列，每个列都带有bigint无符号值(数百万行)。
示例：
012934567865434 10923883093280921
012984902348202 10923812122220677
012930245820556 77777883093123124
984017133446720 76567883093098765
098523467527659
浏览 1提问于2012-03-21得票数 1
1回答
用数据工厂检查CSV文件中的数据
、、、、
我正在实现一个管道，以将csv文件从一个文件夹移动到另一个数据池中。但是，只有在csv文件符合有关分隔符的某些条件、应该在引号之间的字符串、没有标题、特定行分隔符的情况下，才应该这样做.
目前，我可以通过在dataset中设置连接条件(规则)来进行检查，然后分析每个csv文件的名称和列数。
但是，由于我使用的是get元数据活动，我实际上只检查第一行，也没有保证其余的行也符合条件(除了"no“条件)。
在这种情况下，我们还需要检查完整的文件吗？知道文件可以包含数百万行，并且可以多次进行检查，直到文件被更正并满足条件。
提前谢谢你。
浏览 2提问于2021-02-18得票数 1
回答已采纳
我在想，我们是否可以计算出某些熊猫数据的最左边的index中有多少次0-9重复：
A B C
0 -56.343656 NaN -418.540483
10 -87.577880 -16.061497 NaN
20 NaN -15.337254 NaN
40 -67.462841 NaN -431.924830
50 -63.377158 -28.260790 NaN
60 NaN -22.996095
浏览 0提问于2019-01-17得票数 0
我定期收到一个包含100+列和数百万行的csv。这些csv文件总是包含某些列( Core_cols = [col_1, col_2, col_3] )和其他列( Var_col = [a, b, c, d, e] )的可变数。核心列总是在那里，并且可能有0-200个变量列。有时，变量列中的一个列将包含回车。我知道在哪些列中可以发生这种情况，bad_cols = [a, b, c]。
当使用pd.read_csv导入csv时，这些回车会使结果数据中的行损坏。没有这些专栏我就不能再做csv了。
我怎样才能：
忽略了这些列以及其中包含的回车量？或者用csv?中的空格替换回车。
我当前的代码如下所示：
浏览 2提问于2021-07-27得票数 0
回答已采纳
2回答
我有一个有1000行和大约15列的CSV文件。我计划将每一行存储为一个简单的JSON对象作为Redis值，并将CSV文件的行号存储为Redis键。但是，一旦我开始将多个CSV文件上传到Redis，在数据库中区分CSV文件的最佳方法是什么？Redis不就是所有的键值，除了不同的Redis DB实例本身之外，没有其他更大的结构吗？我知道Redis在内存中但即便如此..。如果您有数百万条记录，那么去搜索所需的键是不是有点低效？我还是不明白。如果我上传了100万个CSV文件，每个文件有1000行，那么需要搜索的记录就有10亿条，即使对于内存中的数据库来说也太多了。我应该换一种方式来做。
我正在寻找一种
浏览 0提问于2015-04-28得票数 1
我有一个非常大的数据集，为了说明起见，如下所示。
Cust_ID，Sales_Assistant，商店
123岁，Mary，Worthington，22岁
456岁，Jack，Charles，42岁
真正的数据有更多的列和数百万行。我使用下面的代码将其导入到R中，但由于数据中有一个或多个列有逗号(请参阅上面的Sales_Assistant )，所以它正在下降。
df <- read.csv("C:/dataextract.csv", header = TRUE , as.is = TRUE , sep = "," , na.strings = "N
浏览 9提问于2017-08-03得票数 0
回答已采纳
1回答
因此，我正在尝试制作条形图，但在获取每个变量的频率时遇到了问题。在我的csv文件中，我有一个列(称为"Clade")，其中每个单元格都有一个变量(请注意，每个变量可以出现在多个单元格中)。还有一个名为"Total“的列，其中每个单元格都是与第一列中的单元格对应的数值(两个单元格都在同一行中)。我尝试做的是计算"Clade“列中每个变量的频率，同时考虑"Total”列中的数值。例如，"Clade“中的一个变量出现了3次，但与这三个变量中的一个相关的数值是23。任何帮助都是非常感谢的！
浏览 0提问于2016-09-14得票数 0
我有大量的csv文件，其中每一个是基于时间序列的csv文件采样在埃弗里5秒2-3分钟。我有20k这样的文件，每个文件中有200-300个变量。我是聚合数据的平均值在整个2-3分钟窗口是使用它的二进制分类。
目前，我正在使用.CSV文件中每个列的平均值来表示该文件，因此基本上我是使用每个列使用一个标量值来总结csv的。因此，每个文件都是一个用其各自的平均值表示的示例。有人能建议我一些更好的方法来总结时间序列数据吗。
耽误您时间，实在对不起。
浏览 0提问于2017-12-08得票数 2
回答已采纳
我在创建一个处理中等数量的快速刷新数据并将其显示在数据网格中的应用程序时遇到了问题。目前我们使用的是Telerik radgridview winforms控件，刷新性能相当不错--直到其中一列被排序，这使得应用程序几乎无法使用。我不需要显示很多数据，比如200条以下的数据--但它们确实会频繁更新，每半秒左右更新一次。数据是只读的，但我们更喜欢使用数据网格，因为它使用户可以很容易地选择要显示的列以及用于排序的列。
分析显示，打开排序会创建荒谬的单元格重绘次数-数百次属性更改的重绘次数高达数百万次。CPU的大部分似乎都被各种GDI绘图方法所占用，我假设这些方法是用来绘制单元格的。
在这一点上，几
浏览 0提问于2011-03-14得票数 0
回答已采纳
我的数据框架中有一个列，其值为'3.456B‘，它实际上代表34.56亿(类似的符号为百万)。如何将此字符串窗体转换为更正数字表示形式？
这显示了数据框架：
import pandas as pd
data_csv = pd.read_csv('https://biz.yahoo.com/p/csv/422conameu.csv')
data_csv
这是一个示例值：
data_csv['Market Cap'][0]
type(data_csv['Market Cap'][0])
我试过这个：
data_csv.loc[data_csv
浏览 0提问于2017-03-30得票数 8
回答已采纳
我需要使用下图中的以下选项打开CSV文件。我将链接添加到我的文件中。您可以尝试使用"20140313_Helix2_FP140_SC45.csv“文件
我已经尝试过许多read.table和read.csv选项，但是我需要一个包含多个列的数据，并且数据是分开的。
浏览 1提问于2015-10-17得票数 0
回答已采纳
我很快就需要将数百万条记录导入到生产中使用的单个Server数据库表中。要导入的数据将以大约40个csv文件的形式提供，每个文件都有数十万条记录。
对于每一行，一些列值由csv文件提供，而其他行则需要我必须指定的值。
我正试图决定使用哪种工具。我注意到附带了导入导出向导。这个工具适合这类工作吗？或者我应该用SSIS代替？
我还有其他一些问题：
应该在操作期间“锁定”表吗？
是否应该在生产表的副本中执行插入操作，然后一旦验证了操作，是否应该将该副本作为生产表的正式版本？
浏览 3提问于2020-07-12得票数 0
2回答
只为存档而保留问题。 (Read.csv在所有专栏中都读过，只是在打开data.frame时没有在预览中看到)。
与这个问题相关：我想将一个csv文件导入R中，该文件包含大约3200列(100行)。我习惯于使用data.frames和read.csv，但是我通常的方法失败了，因为
data <- read.csv("data.csv", header=TRUE)
只导入了第一个2105列。它没有显示错误消息。
如何读取超过2105列的csv文件？
而不指定列类
进入数据帧
该文件包含不同的数据类型(日期、字符串、数字、.)
速度不是我最关心的
浏览 5提问于2016-05-03得票数 0
回答已采纳
1回答
获取r中唯一记录的相应列
、、、、
我有一个包含数百万条记录和6列的大型csv文件。我想要获取一个列的唯一记录，即"Name“，以及与"Name”中的唯一记录相关联的列。假设我得到了50,000条唯一的"Name“记录，我想要得到与这50,000条记录相关联的另外5列。我知道如何获取列中的唯一记录。在下面的代码中，我过滤掉了我想要的名称列(第一列)到一个单独的数据框中，然后使用唯一函数返回唯一的记录。但我不确定如何为这些唯一的记录获取其他5列。
m <- read.csv(file="Test.csv", header=T, sep=",",
浏览 0提问于2015-04-15得票数 0
我有一些CSV文件，其中包含数据本身的\n字符。我试图在Apache Spark 2.2中读取这些文件，但是Spark无法正确读取数据。
样本数据如下：
column1,column2,column3,column4,...,column300\n
column1,column2,"""this column has \n new line char and comma,",column4,...,column300\n
column1,column2,column3,column4,...,column300\n
如上所示，所有行都以\n字符结尾，而不是以\r
浏览 0提问于2018-02-14得票数 2
回答已采纳
我有一个csv文件，它包含数百万行。现在，很少有行包含更多的数据，而列数据类型可以容纳这些数据。例如，csv文件只有两行，如下所示，请不要使用^_分隔符
A^_B^_C
AA^_BB^_CC
现在假设每一行只能容纳一个字符，所以第1行第1行是正确的，但是第2行不能，我想找出所有这类行。
所以我想，如果我从csv文件中得到最长的行，我会做得很好，我试着跟踪，但没有帮助(从)
wc -L file
请帮我找到csv文件中最大的行/列。另一个问题是，我有两个分隔符，所以也不能使用剪切命令。
浏览 3提问于2014-03-19得票数 0
回答已采纳
我使用MySQL将CSV文件中的10million+行加载到数据库中。不幸的是，我每次尝试它都会返回一个错误("Row 3816836不包含所有列的数据“)。我已经下载了可以可视化大型CSV的软件，从我所看到的情况来看，数据没有任何问题。某些列中缺少值(就像成功加载的数百万行中的大多数列一样)。该表设置为空默认值。因此，我完全不知道如何成功地加载数据。
有没有办法跳过这一行！？加载过程中的任何错误处理都将受到高度赞赏。
USE data;
LOAD DATA INFILE "data.csv"
INTO TABLE master
FIELDS TERMINATED BY
浏览 19提问于2019-11-18得票数 0
如何在CSV中有效地交换包含数百万条记录的正确列中的行？我想用正确的顺序和列交换CSV文件中的一些行。这个文件太大了，我不能手动操作。
浏览 0提问于2018-05-23得票数 0
2回答
我有两个大的CSV文件，数百万行。因为这两个CSV来自MySQL，所以我想将这两个表合并成一个沙发数据库中的文档。
做这件事最有效的方法是什么？
我目前的方法是：
进口第一CSV
进口第二CSV
为了防止重复，程序将使用键搜索每一行的文档。在找到行之后，然后用来自第二个CSV的列更新文档。
问题是，搜索每一行确实需要很长时间。在导入第二个CSV时，它更新了30个文档/秒，我有大约700万行。粗略计算，完成整个进口大约需要64小时。
谢谢
浏览 6提问于2011-05-08得票数 2
回答已采纳
1回答
我想要创建一个散点图，从一个CSV文件中绘制数百万个点，并允许交互缩放，在不同的尺度上探索更精细的结构。不幸的是，我不太熟悉编程，所以基于GUI的东西会很棒.
操作系统：
数据类型:整数坐标的两列
浏览 0提问于2019-02-09得票数 0
1回答
我有下面的csv文件，包含来自电生理学的数据。第三列包含使用软件过滤的数据。第二列包含未经过滤的数据.
data = pd.read_csv("trial_filtered.csv")
datad = np.asarray(data)
x1 = datad[:100,0]
y1 = datad[:100,1]
y2 = datad[:100, 2]
我想要绘制这些数据，并比较未过滤的数据。
plt.subplot(2, 1, 1)
plt.plot(x1, y1, 'yo-')
plt.title('BB565 - OD')
plt
浏览 0提问于2016-12-07得票数 1
2回答
我刚刚开始学习python。除了简单地使用for循环逐行遍历和读取之外，我很想知道统计CSV文件中特定单词出现次数的有效方法是什么。
更具体地说，假设我有一个CSV文件，其中包含两个列"Name“和"Grade"，其中包含数百万条记录。
如何计算"A“在”等级“下的出现？
Python代码示例将非常受欢迎！
浏览 4提问于2012-02-12得票数 6
回答已采纳
我有一个非常大的CSV文件(数百万条记录)
我已经开发了一种智能搜索算法来定位文件中的特定行范围，以避免解析整个文件。
现在我面临一个更棘手的问题:我只对特定专栏的内容感兴趣。
有没有一种聪明的方法可以避免在200MB的文件中逐行循环，而只检索特定列的内容？
浏览 14提问于2011-02-23得票数 1
回答已采纳
我正在尝试在一个线形图上绘制200个频率与dB数据点。我的代码首先有很多东西来去除数据(18行)中的标题，然后尝试将列(频率和dB)保存为数组并绘制它们，但是python输出的是一个没有错误的空白图形。
python是个新手，所以我不知道该怎么做！提前感谢！
下面是我当前的代码：
import csv
import numpy as np
import matplotlib.pyplot as plt
def skip_first(seq,n):
for i, item in enumerate(seq):
if i>=n:
yield
浏览 20提问于2017-06-29得票数 0
回答已采纳
1回答
lucene是如何构建VSM的？
、、、、
我理解了VSM，TFIDF和余弦相似的概念，但是，在阅读lucene网站之后，我仍然对lucene如何构建VSM和计算每个查询的相似度感到困惑。
据我所知，VSM是一个矩阵，每个术语的TFIDF值都被填充。当我尝试从一组文档构建VSM时，使用这个工具花了很长时间--这实际上与编码无关，因为直观地构建一个包含大量数据的VSM矩阵很费时，但对于lucene来说似乎并非如此。
另外，使用预先构建的VSM，查找最相似的文档(基本上是计算两个文档或查询与文档之间的相似性)通常很耗时(假设有数百万个文档，因为必须计算每个人的相似度)，但是lucene似乎真的很快。我想这也与它如何在内部构建VSM有关。如果
浏览 7提问于2014-02-14得票数 1
回答已采纳
2回答
你好，数据科学家。
我编写了这个函数来加载数据块，它工作得很好，它给了我一个数据的形状，但是当我试图将它赋值给一个变量，以便我能够清理我的数据并处理它时，它表明它是无类型的。
def show(df):
start = time()
c=0
for chuck in pd.read_csv('../input/{}.csv'.format(df), chunksize=50000):
if c==0:
df=chuck
c+=1
else:
df=df.append(chuck, ignore_index=Tru
浏览 2提问于2018-09-20得票数 2
回答已采纳
Problem：我正在尝试将一个包含数千/数百万行的.csv文件插入带有bulk insert查询的Server表中。现在，我想用大容量更新更新表，在特定列发生变化的地方，例如价格发生变化的地方。我该怎么做？而且:当插入表时，我想忽略约束。
BULK INSERT Table
FROM 'D:\test.csv'
WITH
(FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n')
GO
现在，当我第二次更新文件时，表中包含了价格列，只更新了先前价格不同的行更新。
浏览 1提问于2017-02-22得票数 0
回答已采纳
我在对一个非常大的数组(数百万个数字)求和时遇到了问题，并试图对其中的所有值求和，但总是失败(从初始部分得到的值为0)。下面是我的代码： Map.sh #/bin/bash
file="myfile.csv"
data=`tail -n +2 $file | cut -d"," -f 4`
data1=()
for i in $data;
do
data1+=($i)
done;
count=${#data1[@]}
export count
export data1
export data
./reduce.sh reduce.sh #/bin/bash
浏览 15提问于2020-03-18得票数 1
我试图用JAVA中的Cassandra后端将数百万节点从CSV文件加载到Titan 1.0.0。怎么装？
我检查了我们可以使用加载它们，但是它从GraphSON格式加载数据。
我如何开始编写代码来大容量加载CSV中的数据？你能指定一些我可以查看并开始编写代码的起始引用吗？
我是否需要在我的系统上运行星火/Hadoop才能使用Bulkloaderprogram使用的SparkComputerGraph？
我无法开始编写代码，因为我不了解如何使用散列程序从CSV读取数据。您能提供一些启动链接来继续Java代码吗？
谢谢。
浏览 4提问于2016-02-03得票数 1
我正在考虑将复合索引添加到MySQL数据库中的表中，该表的大小可能为数百万行。该组合将由两个varchar列和三个int列组成。
正如标题中所述，我的问题是:是否存在创建此综合指数的最佳顺序？
例如，其中一个int行可能只有6个可能的值，那么该列靠近索引定义的前面是不是更好呢？同样，其中一个varchar列可能有数百万个不同的值，应该位于索引定义的前面还是后面？
浏览 16提问于2012-03-03得票数 20
回答已采纳
1回答
我使用tm软件包分析了5个文档。最初的数据是csv格式，包含的列很少。我在第一列中搜索了最常用的单词，它代表了一些书的标题。(我为每个需要的列创建了单独的txt文档)。
现在我想分析包含作者的名字和姓氏的列(例如：John，Smith)。我想确定每个作者的图书数量(频率)。
请告诉我如何才能像第一种情况那样同时分析这两个单词，而不是分开分析？
浏览 2提问于2015-07-24得票数 0
1回答
我目前正在创建一个Python3程序，该程序将从六列CSV中挑选出最频繁的数字。到目前为止，我已经有了从每一列中挑选最频繁的代码，但我也希望代码能够从所有列和行的组合中挑选六个最频繁的数字(从第一个最频繁的数字到第六个)。
我有一个Excel电子表格可以做到这一点，使用公式：
=MODE(IF(1 - ISNUMBER(MATCH(B2:G402,$L$24:L24,0)),B2:G402))
然后向下拖动计算，显示六个数字(据我所知，这是一个有效的公式！)
有没有办法在Python3中得到这个公式，或者更好的东西？那么，代码将显示6列和400+行中最常见的前6个数字？
到目前为止，我的代码如
浏览 3提问于2019-08-11得票数 0
回答已采纳
1回答
大数据集将值连接到查询中
、、、
我有一个包含数百万行的视图，在运行所有数据时都会出现这种情况，但是可以在其中进行选择，以提取数据的快照。
视图A(超过5000000行-运行所有数据时超时)
我试图根据0列和idno作为不同的标准连接标准名称和KeyDescription2，然后导出到csv或电子表格中。
实现的结果
我已经创建了一个.asp页面，在该页面中，我从原始表中选择不同的列0和idnumber，然后循环获得标准名称。这很好，但执行1000行需要2分钟，这意味着运行完整的报告需要半年时间!！因此，需要一个更好和更快的方法来实现这一点。有人知道我如何在Server本身中直接实现这个结果吗？
浏览 5提问于2017-09-11得票数 1
回答已采纳
我正在实现机器学习模型，并使用来自MySQL表的训练数据集，所有这些都建立在Django之上。因此，基本上所有的计算都是通过将整个数据从MySQL表转换到dataframe来完成的。
df = pd.read_sql("select * from naivebayes_player",connection)
但是，在将dataframe列值与字符串进行比较时，我遇到了一些问题。
因此，我在MySQL表中有一个名为分类的列，其中有2个固定值'RS‘或'NRS’，以varchar(10)格式存储。由于我已经将整个表转换为dataframe，所以每当我在datafra
浏览 0提问于2018-01-13得票数 0
3回答
我使用以下方法将csv文件读取到Spark中：
df = spark.read.format(file_type).options(header='true'，引号=‘\’，ignoreLeadingWhiteSpace='true'，inferSchema='true').load(file_location)
当我尝试使用来自另一个源的示例csv数据时，它显示了一个清晰显示的标题行，后面是数据。
当我在我的主数据(它有40列，数百万行)上尝试它时，它只显示前20个列标题，而不显示数据行。
这是正常的行为，还是它读错了？
更新:我将标记
浏览 0提问于2018-10-21得票数 1
回答已采纳
2回答
我的数据包含一天中的几个测量值。它存储在CSV-file中，如下所示：enter image description here date- V1列是因子类型，所以我添加了一个额外的列，即date-time -type：vd$Vdate <- as_datetime(vd$V1)：enter image description here 然后我尝试将vd-data转换成时间序列：vd.ts<- ts(vd, frequency = 365) 但是这样的日子就过去了：enter image description here 我就是不明白我做错了什么！有人能帮帮我吗？
浏览 18提问于2020-04-29得票数 0
1回答
这似乎是基本的，但我不会得到它。我正在尝试计算R中的频率表，如下所示
1 2
2 1
3 1
我想在csv输出中传输双向频率，其行将是数据列A中的所有唯一条目，其列将是数据列B中的所有唯一条目，单元格值将是值出现的次数。我已经研究了一些结构，比如table，但是我不能以csv格式正确地输出值。
示例数据输出：
"","1","2"
"1",0,1
"2",1,0
"3",1,0
浏览 1提问于2013-01-04得票数 3
回答已采纳
这个问题可能被问了数百万次，但我真的找不到合适的答案。
基本上，我有一个巨大的.csv文件可以从其中下载数据并将其插入到本地文件中。它有10列，第三列只是一个字符串，它总是具有相同的字符串“类型”。类似于: 123/45K67。
我只想把它分成三列: 123，45，K67，并完全排除斜杠。
抱歉，格式不好，在手机上写。
浏览 8提问于2018-02-14得票数 1
回答已采纳
5回答
假设我有下面的应用程序的CSV文件操作日志。这个csv可能包含3-4百万行。
Company, ActionsType, Action
ABC, Downloaded, Tutorial 1
ABC, Watched, Tutorial 2
PQR, Subscribed, Tutorial 1
ABC, Watched, Tutorial 2
PQR, Subscribed, Tutorial 3
XYZ, Subscribed, Tutorial 1
XYZ, Watched, Tutorial 3
PQR, Downloaded, Tutorial 1
是否有方法通过按公司名称分组并将a
浏览 1提问于2014-11-27得票数 0
回答已采纳
4回答
我有一个csv格式的非常大的数据集(10 GB)，其中包含各种列和行。其中一列是某类个人的is (表示为字符串)。ID在数据中都是加扰的，并且每个单独的ID可能会多次出现。我想要找到数据中出现频率最高的个人的ID。理想情况下，我希望计算每个ID在数据集中出现的次数。最后，我还想对各个‘d进行统计分析。完成这项任务的最快方法是什么？我确实尝试过groupby，但不知道如何找到与组相对应的ID以及它们的大小。
import pandas as pd
df = pd.read_csv('file')
user_groups = df.groupby(['IDs'])
浏览 1提问于2019-02-22得票数 0
2回答
我是一名Java程序员，我正在为数据科学和分析目的学习python。
我希望在Dataframe中清理数据，但我对熊猫的逻辑和语法感到困惑。
我希望实现的是类似于以下Java代码的内容：
for( String name : names ) {
if (name == "test") {
name = "myValue";}
}
如何与巨蟒和熊猫一起做这件事。我试过如下，但它不起作用
import pandas as pd
import numpy as np
df = pd.read_csv('Dataset V02.cs
浏览 2提问于2017-05-24得票数 1
回答已采纳
1回答
我有一个2列3000行的dataframe。
第一列在时间步骤中表示时间.例如，第一行是0，第二行是1，.，最后一行是2999。
第二列表示压力。当我们在行上迭代时，压力会发生变化，但会表现出重复的行为。因此，每隔几步，我们就会看到它的最小值( 375)，然后再上升，然后在375，等等。
在Python中，我想要做的是迭代行并查看: 1)在什么时候，我们看到压力最小。
2)求出最小值之间的频率。
import numpy as np
import pandas as pd
import numpy.random as rnd
import scipy.linalg as lin
from ma
浏览 1提问于2016-11-30得票数 1
回答已采纳
1回答
这就是我的代码
df = pd.read_csv('XBT_60.csv', index_col = 'date', parse_dates = True)
df.index.freq = 'H'
我加载csv，将索引设置为date列，并希望将频率设置为'H‘。但这会引发这样的错误：
ValueError: Inferred frequency None from passed values does not conform to passed frequency H
日期列的格式为：2017-01-01 00:00:00
在将csv设置
浏览 5提问于2022-03-03得票数 3
回答已采纳
我正在尝试加载一个分号分隔的txt文件，在数据中有几个转义字符。它们通常是< ; (删除了空间，因此不覆盖<)，它添加了分号。这显然会扰乱我的数据，而且由于dtype是导致read_csv问题的重要原因。当文件被读取时，是否可以告诉熊猫忽略这些信息呢？
我试着从文件中删除char，它现在起作用了，但考虑到我想要对数百万行进行自动化处理，这是不可持续的。
df = pd.read_csv(file_loc.csv,
header=None,
names=column_names,
浏览 0提问于2019-08-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
