我有一个稍微损坏的CSV文件，我想在使用pandas.read_csv()读取它之前对其进行预处理，即对它进行一些搜索/替换。我尝试打开文件，并在生成器中进行预处理，然后将其移交给read_csv()： with open("some.csv") as csvfile:所以最后，我在寻找一种模式来构建一个管道，它打开一个文件，逐行读取它，允许进行预
浏览 14提问于2018-09-04得票数 2
1回答
我有一个csv文件的10+gb，我使用了pandas.read_csv()中可用的"chunksize“参数来读取和预处理数据，用于训练模型想要使用的在线学习方法之一。通常交叉验证和超参数整定是对整个训练数据集进行的，并使用最好的超参数来训练模型，但是在海量数据的情况下，如果我在训练数据块上做同样的操作，如何选择超参数呢？
浏览 9提问于2017-09-26得票数 1
回答已采纳
1回答
要部署的最终模型的预处理
、、、、
通常，对于ML工作流，我们导入数据(X和y)，将X和y划分为train、valid和test，对train、valid和test的数据进行预处理(缩放、编码、计算nan值等)，执行HP调优，在得到最佳HP模型后，将最终模型拟合到整个数据集(即X和y)。现在的问题是，X和y不是预处理的，因为只有train、valid和test是预处理的。因此，当在X和y上拟合最终模型时，我们将得到一个错误，因为我们还没有对X和y进行编
浏览 0提问于2021-11-29得票数 1
回答已采纳
我们现有的许多报告都需要在呈现数据之前对其进行预处理。例如，我们对从存储过程返回GPS坐标(纬度和经度)的报告有一个查询，但是在将DataSet传递到我们的报告引擎(目前是水晶)之前，我们会调用一个Web来对坐标进行反向地理编码，并获得一个地址字符串。我读过一些关于的文章，但我不确定这是我想要的，因为那时(如果我正确理解的话)，我需要实现整个处理流程(包括从存储的proc中检索数据)，以便在最后对其进行</e
浏览 0提问于2009-09-17得票数 3
回答已采纳
我正在建立一个神经网络，目的是对未来的新数据进行预测。首先利用sklearn.preprocessing对训练数据进行预处理，然后对模型进行训练，然后进行预测，然后关闭程序。将来，当新数据出现时，我必须使用相同的预处理尺度来转换新数据，然后再将其放入模型中。目前，我必须加载所有的旧数据，适合预处理，然后转换新的数据</e
浏览 9提问于2017-03-16得票数 3
回答已采纳
1回答
Pandas csv解析器()支持不同的编码：data = pandas.read_csv(myfile, encoding='utf-8', quotechar='"',delimiter=',')
如何为我的数据帧实现ascii忽略编码大小写？
浏览 1提问于2014-04-23得票数 2
我想对文件路径进行预处理，以便DataGridViewButtonColumn只显示文件名(不显示父文件夹)。
如何在将值绑定到DataGridView的列之前对其进行截取和预处理？(我在ASP.NET数据绑定中见过类似的东西，希望我在这里也能这样做。)
浏览 3提问于2009-03-16得票数 2
回答已采纳
在将数据写入模型之前，我尝试对某些fieldType上的数据进行预处理。如何在mongoengine中检查文档字段的类型。
浏览 18提问于2021-02-09得票数 0
我想在将javascript文件下载到客户端浏览器之前对其进行预处理。我已经用一个css文件成功地做到了这一点，但是当我将相同的标准应用于我的javascript文件时，它不起作用。有人知道如何在下载前使用PHP对.js文件进行预处理吗？
谢谢
浏览 6提问于2011-05-11得票数 0
回答已采纳
据我所知，人们说，在将数据分割成训练/测试数据集之后，对数据进行预处理更正确。我的问题是
1.这是否意味着我们检测到数据的缺陷并在分割后对其进行预处理？如果是/否，为什么？2.在分割数据之前先检测数据的缺陷，然后在分割后对缺陷进行预处理，这样行吗？如果是/不是，为什么？
浏览 0提问于2020-02-26得票数 1
回答已采纳
1回答
当我阅读scikit学习示例时，典型的机器学习流程是预处理-->学习-->预测。random_state=42)
在这里，训练数据集和测试数据集在加入分类器之前都要进行缩放但在我的任务中，我将预测一个单一的数据样本。在训练我的模型之后，我将从一条流线中获取数据。因此，每次收到一个新的数据</e
浏览 1提问于2018-04-04得票数 0
回答已采纳
我的数据是np数组的三维形状(256,256，1) = (x坐标，y坐标，压力值)现在我想用这个np数组画一个等高线图。但问题是我的数据形状不适合plt.contourf
你知道如何在将数据提供给contourf之前对其进行预处理吗？
浏览 0提问于2021-06-09得票数 0
1回答
自然语言处理
、、、、
我不知道如何使用标记化和柠檬化等技术对我的数据进行预处理。在将数据转换成CSV格式之前，我对数据进行了规范化处理，所以现在我有了一个数据框架。请如何在整个数据集上应用标记化过程，并且使用split()函数会给我一个错误？
📷
浏览 0提问于2022-03-26得票数 1
我在excel中有一个数据集，它以下列格式存储日期1:000.5410这导致了不正确的图形绘制。在绘制图形之前，我如何在matlab中对这些信息进行预处理，准确地说，13:00到23:59所代表的值是多少？我如何在matlab中检查它呢？
浏览 1提问于2013-08-01得票数 2
回答已采纳
我已经完成了这段代码，以便在运行时之前由预处理器对其进行评估。是否在预处理时进行评估，以便代码digitalWrite(STATION1, 1)在编译前在digitalWrite(PORTB1, 1)或包括ifs和else(如digitalWrite(if(15<
浏览 3提问于2015-02-09得票数 0
回答已采纳
在bash处理之前，有没有办法在交互模式下对输入bash的行进行预处理？我找到了，它描述了如何在命令执行之前执行钩子函数。
浏览 0提问于2014-06-10得票数 1
1回答
命名实体识别在实践中的应用
、、、、
我是一个尝试学习的NLP新手，我想更好地理解命名实体识别(NER)是如何在实践中实现的，例如在流行的python库(如 )中。你知道如果：
为了起作用，在训练模型之前，文本必须经过分块，对吗？否则它就不能执行任何有用的操作了？在对模型进行培训之前，文本和注释是否典型地规范化了？所以，如果一个被命名的实
浏览 2提问于2018-01-16得票数 0
回答已采纳
因此，问题将是：{ date: "20150121"我想知道如何在插入日期字段之前对其进行预处理
2如何搜索某个范围的文档？
浏览 0提问于2015-05-21得票数 0
2回答
我通常做预处理之前，拟合估计使用Scikit-学习。我最近的项目使用的数据比我过去使用的要多得多，虽然我知道我可以使用.fit_generator()或.partial_fit()对Keras进行在线学习，但我对如何在这种情况下执行分类编码步骤感到有些困惑显然，OrdinalEncoder需要了解特性中的每一个可能的值才能适合自己，我不能这样做，因为我无法将数据加载到内存中。我还没有试过，但可能一次加载一个分类特性并对该数据<
浏览 0提问于2020-01-06得票数 3
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
