如何在不占用RAM的情况下创建额外的列，然后将其用于ML算法？

文章/答案/技术大牛

发布

2回答

python、pandas、machine-learning、dask、ram

我有一个包含3m+ (有序)行和100列的数据集，我可以使用Pandas将其加载到我的笔记本中。我想追加大约900列，这些列是使用100个现有的列计算得出的。当我尝试使用Pandas添加列时，由于RAM不足(我有25 to )，我的机器崩溃了。因此，我尝试使用Dask，它允许我毫无问题地计算900列。然而，Dask数据帧不能用作随机森林(Sklearn)和Keras模型的输入，所以

浏览 18提问于2021-05-22得票数 1

1回答

使用数据集替换使用Python或pandas的另一个数据集中的值

python、pandas、replace、dataset、data-analysis

我有一个巨大的数据集'A‘，用于汽车的价格预测，其中包含某些列。其中一列是“城市”，我想给每个城市排名，以便将其用于ML算法。这些城市超过50个，所以在运行时替换并不会使代码看起来很好。我想创建一个包含“城市”和“排名”的.csv，并替换和使用数据集“A”中的“排名”。我如何在python或pandas中做到这一点？任何示例或代码片段都会有很大帮助。

浏览 24提问于2019-10-26得票数 0

3回答

委托的共享对象是否保留内存？

iphone、memory、delegates

我在我的应用程序的不同类和方法中编写了如下代码。FruityGameAppDelegate *delegate = (FruityGameAppDelegate *)[[UIApplication sharedApplication] delegate]; 我想知道它是否会占用空间(内存)，或者如果是，那么什么是处理这些对象的合适方式，以便我的程序不会泄漏内存，或者不应该很重？

浏览 2提问于2011-07-25得票数 0

回答已采纳

1回答

内存优化Azure Postgres

postgresql、azure

我试图理解用于PostgreSQL的Azure数据库的“内存优化”设置。主存数据管理可以被视为与二级存储数据管理(如列存储和其他优化的存储数据的方法)非常不同，因此我感到困惑。微软是简单地创建一个内存驱动器，还是简单地为数据分配更多的RAM？我们仍然需要将所有的数据从RAM刷新到磁盘，以防偶尔出现电力或硬件故障，这一切是如何在这种情况下完成的？

浏览 0提问于2021-05-02得票数 0

1回答

Sheets:为范围内的每一行计算此表达式。该怎么做呢？

google-sheets

假设我想根据“值”的总和计算“值2”的加权值，如果一个指示符= 'Y‘，那么在不添加额外列的情况下如何做到这一点？因此，本质上，我想知道如何为某一范围(“人工列”)中的每一行应用一个表达式，然后我可以将其应用于例如和。📷

浏览 0提问于2017-04-30得票数 0

回答已采纳

2回答

创建包含数据的许可证密钥

c#、string、hash、cryptography、licensing

我对为我的应用程序创建许可证密钥很感兴趣，并且已经想到了一个系统，它将如何在不麻烦我的客户的情况下实现最低限度的复制安全性。此外，我很清楚，没有绝对的方法来防止盗版，我并不介意。我能想到的第一种方法是创建一个散列，使用SHA、MD5或任何其他流行的单向算法。这些散列(大多数)很短，并且很容易为客户输入。但同时，我希望在生成<em

浏览 1提问于2013-03-17得票数 0

回答已采纳

2回答

与其他使用熊猫的数据相比，如何填补行间的空白？

python-3.x、pandas

我希望将df1与df2进行比较，只填补空白而不覆盖其他值。我不知道如何在不覆盖或创建额外列的情况下实现这一点。我可以通过将df2转换为字典并与df1进行映射来做到这一点吗？df1 = pd.DataFrame({'players name':['ram', 'john', 'ismael', 'sam', 'karan&#x

浏览 1提问于2020-02-19得票数 2

回答已采纳

1回答

保护Cassandra中的单个列

security、cassandra

我们希望我们的开发人员能够在生产中查询Cassandra表(用于解决问题和进行其他分析)。然而，我们不希望他们看到安全的数据，如电子邮件地址和客户姓名。我已经考虑过在Cassandra中创建一个物化视图，然后选择整个表，但敏感列除外。然后，我可以授予开发人员在视图上选择access的权限，但不能授予主表。这是确保卡桑德拉列安全的最好方法吗？我认识的其他人建议使用

浏览 7提问于2016-07-26得票数 2

回答已采纳

1回答

发现洞察力并应用ML过程

python、pandas、scikit-learn、seaborn、data-science

这是一个星期的发货数据，包含2列，地址和装运日期。有些地址有逗号可分离的状态，有些没有，有些地址有完整的状态，有些地址缺少几个字符。在address列中还有空格和\n格式。到目前为止，我一直通过删除空格、从地址中删除\n格式、通过用逗号分隔address列并获取最后一个索引(tbh，由于类型不一致)来创建states列来清除这个address列。我的问题是，在清理数据方面，我的工作方向是否正确？如<

浏览 0提问于2019-12-16得票数 0

回答已采纳

1回答

计算完全相同的多个字符集的算法

string、algorithm、hash

我正在寻找一种快速(实际时间，而不是渐近复杂性)的算法来计算相同的多组字符。例如，输入 BCDEFGHBDCEFDBACADABACBDCAADABAC 和另外两个相同的集合BCDEFGH BCDEHFG 集合可以很大(>10,000个字符) 我正在考虑使用散列，然后将其映射到计数器，但是我必须考虑如何在不</e

浏览 7提问于2020-03-25得票数 0

3回答

在python中使用“多处理”包的最佳实践

python、multiprocessing

但我看到，在笔记本中每次执行代码块时，后台都会产生额外的python进程。py文件中保存同样的文件并执行时，我会遇到错误，必须终止终端来停止程序的执行。我已经通过让if __name__ == '__main__':和在此下面创建池来纠正这一点，并使用pool.close()关闭池。我很想知道，在使用multiprocessing和相关函数(如map、apply、apply_async等)时，应该遵循哪些最佳实践？我计划使用这个模块并行读取文件，并希望将其</

浏览 6提问于2014-03-23得票数 15

1回答

如何使用流来考虑response_column int或Enum类型

h2o

h2o中的大多数算法在response_column中都有一个约束。对于其中一些变量，它必须仅是Enum类型变量，而对于其他变量则必须是int类型变量。然后，由于对某些算法的这种限制，我可以将我的原始类型用于response_column，但为了测试其他算法，我需要将其转换为Enum。我试图创建一个额外的列--比如说outputAsEnum，但是我没有找到一种方法

浏览 1提问于2017-06-02得票数 0

回答已采纳

1回答

如何使用不同的技术在填充熊猫或蟒蛇的缺失值后添加“填充数据”的列？

python-3.x、pandas、matplotlib、jupyter-notebook、seaborn

如何在填充熊猫或蟒蛇的缺失值后，使用不同或几种技术，如各种统计技术或机器学习技术，添加“填充数据”列。我想做的是，在用平均值、中位数或标准差值或其他机器学习算法(如KNN或XGBoost或其他一些技术)填充数据之后，我想在csv或excel文件的末尾添加或追加这些或那个列，但不低于实际数据，我指的是文件的右侧例如，我已经使用统计技术和其他ML技术填充了某一列中丢失的</em

浏览 2提问于2019-09-26得票数 0

1回答

如何找到两个很大的矩阵的点乘积以避免内存错误？

python、numpy、machine-learning、scipy、logistic-regression

我正在尝试使用Kaggle数据集来学习ML。在其中一个问题中(用Logistic回归)，输入矩阵和参数矩阵的大小分别为(1110001，8)和(2122640，8)。我想任何语言都是一样的，因为它太大了。我的问题是，它们是如何在现实的ML实现中乘以矩阵的(因为它通常是这么大的)？因此，有些ppl建议计算各部分的点积，然后进行组合。但是即使如此，矩阵对于

浏览 0提问于2018-07-06得票数 0

回答已采纳

2回答

使用HKDF派生2键

key-derivation、hkdf

我有一个使用256位主密钥的加密方案，其中两个单独的密钥(一个用于AES-256-CTR加密，一个用于HMAC- that 256)是使用HKDF导出的。不过，我不知道如何在不搞砸的情况下利用香港发展基金，所以我直截了当地说：仅仅使用SHA-512作为散列算法来获得512位的输出并将其拆分为2是安全的吗？我知道使用盐并不是强制性的</e

浏览 0提问于2014-06-22得票数 1

回答已采纳

2回答

我如何在没有任何主题的情况下创建一个Drupal "Page“(不是块)？

6、theming

我如何在没有任何主题的情况下创建一个Drupal "Page“(不是块)？我不希望这个“页面”包含任何页眉/页脚/左/右列。我的理解是，这是不可能的，但我是否可以为我的网站创建一个完全空白的主题，并将其应用于适当的页面？我们有一个推销员想要在Dreamwever中构建他自己的一组页面，<e

浏览 0提问于2012-02-07得票数 0

回答已采纳

2回答

Server可空数据类型大小

sql、sql-server

Microsoft数据库管理系统中可空数据类型的大小是多少？例如，非空int应该占用4个字节，有多少空间用于可空列？这是非常奇怪的:为什么它包含*2乘法器(没有提到nvarchar -这个公式适用于所有变量大小的类型，如解释所示)；它必须是一个错误，Max_Var_Size被添加而不是乘以；最后，它包含+2个字节来存储值的长度，但同样不包含任何用于存储空值的错误。然后</

浏览 5提问于2014-01-13得票数 15

回答已采纳

3回答

比较两个非常大的文本内容是否不同

design、algorithms、database、database-design、strings

我知道在需要时才会对某些东西进行优化，但同时我不想现在就设计一个系统，然后意识到这是一件愚蠢的事情。因此，即使我一次处理32个请求，它也将占用1GB的RAM ( 32 at * 32 req =1024 at)和检查内容时的额外CPU负载。在非常罕见的情况下，每次都会发送16 It，而更低效的是将16 It的内容按字符进行比较。但是，在设计一个系统时，总是估计最坏的情况是不是太过分

浏览 0提问于2020-03-10得票数 1

2回答

在亚马逊网络服务EC2上扩展根分区

hadoop、amazon-web-services、amazon-ec2

我创建了一个公有VPC，然后在其中添加了一堆节点，以便我可以将其用于spark集群。不幸的是，它们都有一个如下所示的分区设置：/dev/xvda 100G我在这些机器上设置了一个云管理器，所有节点只剩下1G用于HDFS。如何扩展分区，使其占用100G的所有空间？我尝试创建

浏览 0提问于2015-07-21得票数 2

2回答

斯坦福数据集转CoreML

coreml、coremltools

我有一个从下载的数据集。我知道coremltool (由Apple创建)。提前谢谢！

浏览 3提问于2017-09-13得票数 0

回答已采纳

点击加载更多