如何在不占用RAM的情况下创建额外的列，然后将其用于ML算法？
在不占用RAM的情况下创建额外的列，并将其用于ML算法，可以通过以下方式实现：
- 利用数据库的计算列：某些数据库支持计算列的功能，可以在查询时动态计算并返回额外的列。计算列不会占用额外的存储空间，而是在查询时根据定义的计算规则进行实时计算。可以根据需要定义计算列，并将其用于ML算法。
- 利用数据预处理技术：在进行ML算法训练之前，可以对数据进行预处理，包括创建额外的列。预处理可以在磁盘上进行，而不是占用RAM。可以使用各种数据处理工具和编程语言（如Python的Pandas库）来创建额外的列，并将其用于ML算法。
- 利用分布式计算框架：如果数据量较大，无法在单个机器的RAM中处理，可以考虑使用分布式计算框架，如Apache Hadoop或Apache Spark。这些框架可以将数据分布在多台机器上进行并行计算，从而避免占用单个机器的RAM。可以在分布式计算框架中创建额外的列，并将其用于ML算法。
需要注意的是，不占用RAM创建额外的列可能会对计算性能产生一定的影响，特别是在大规模数据和复杂计算场景下。因此，在实际应用中需要综合考虑数据量、计算复杂度和性能需求，选择合适的方法来创建额外的列并用于ML算法。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库（https://cloud.tencent.com/product/cdb）：提供多种数据库产品，包括关系型数据库、NoSQL数据库等，可根据需求选择适合的数据库产品来创建额外的列。
- 腾讯云大数据（https://cloud.tencent.com/product/emr）：提供基于Apache Hadoop和Apache Spark的大数据处理服务，可用于分布式计算和创建额外的列。
- 腾讯云人工智能（https://cloud.tencent.com/product/ai）：提供多种人工智能服务，包括自然语言处理、图像识别等，可用于ML算法中的数据预处理和创建额外的列。
相关·内容
我有一个包含3m+ (有序)行和100列的数据集，我可以使用Pandas将其加载到我的笔记本中。我想追加大约900列，这些列是使用100个现有的列计算得出的。当我尝试使用Pandas添加列时，由于RAM不足(我有25 to )，我的机器崩溃了。因此，我尝试使用Dask，它允许我毫无问题地计算900列。然而，Dask数据帧不能用作随机森林(Sklearn)和Keras模型的输入，所以
浏览 18提问于2021-05-22得票数 1
我有一个巨大的数据集'A‘，用于汽车的价格预测，其中包含某些列。其中一列是“城市”，我想给每个城市排名，以便将其用于ML算法。这些城市超过50个，所以在运行时替换并不会使代码看起来很好。我想创建一个包含“城市”和“排名”的.csv，并替换和使用数据集“A”中的“排名”。我如何在python或pandas中做到这一点？任何示例或代码片段都会有很大帮助。
浏览 24提问于2019-10-26得票数 0
3回答
我在我的应用程序的不同类和方法中编写了如下代码。FruityGameAppDelegate *delegate = (FruityGameAppDelegate *)[[UIApplication sharedApplication] delegate];
我想知道它是否会占用空间(内存)，或者如果是，那么什么是处理这些对象的合适方式，以便我的程序不会泄漏内存，或者不应该很重？
浏览 2提问于2011-07-25得票数 0
回答已采纳
我试图理解用于PostgreSQL的Azure数据库的“内存优化”设置。主存数据管理可以被视为与二级存储数据管理(如列存储和其他优化的存储数据的方法)非常不同，因此我感到困惑。微软是简单地创建一个内存驱动器，还是简单地为数据分配更多的RAM？我们仍然需要将所有的数据从RAM刷新到磁盘，以防偶尔出现电力或硬件故障，这一切是如何在这种情况下完成的？
浏览 0提问于2021-05-02得票数 0
假设我想根据“值”的总和计算“值2”的加权值，如果一个指示符= 'Y‘，那么在不添加额外列的情况下如何做到这一点？因此，本质上，我想知道如何为某一范围(“人工列”)中的每一行应用一个表达式，然后我可以将其应用于例如和。📷
浏览 0提问于2017-04-30得票数 0
回答已采纳
2回答
创建包含数据的许可证密钥
、、、、
我对为我的应用程序创建许可证密钥很感兴趣，并且已经想到了一个系统，它将如何在不麻烦我的客户的情况下实现最低限度的复制安全性。此外，我很清楚，没有绝对的方法来防止盗版，我并不介意。我能想到的第一种方法是创建一个散列，使用SHA、MD5或任何其他流行的单向算法。这些散列(大多数)很短，并且很容易为客户输入。但同时，我希望在生成<em
浏览 1提问于2013-03-17得票数 0
回答已采纳
我希望将df1与df2进行比较，只填补空白而不覆盖其他值。我不知道如何在不覆盖或创建额外列的情况下实现这一点。
我可以通过将df2转换为字典并与df1进行映射来做到这一点吗？df1 = pd.DataFrame({'players name':['ram', 'john', 'ismael', 'sam', 'karan&#x
浏览 1提问于2020-02-19得票数 2
回答已采纳
1回答
我们希望我们的开发人员能够在生产中查询Cassandra表(用于解决问题和进行其他分析)。然而，我们不希望他们看到安全的数据，如电子邮件地址和客户姓名。我已经考虑过在Cassandra中创建一个物化视图，然后选择整个表，但敏感列除外。然后，我可以授予开发人员在视图上选择access的权限，但不能授予主表。
这是确保卡桑德拉列安全的最好方法吗？我认识的其他人建议使用
浏览 7提问于2016-07-26得票数 2
回答已采纳
1回答
发现洞察力并应用ML过程
、、、、
这是一个星期的发货数据，包含2列，地址和装运日期。有些地址有逗号可分离的状态，有些没有，有些地址有完整的状态，有些地址缺少几个字符。在address列中还有空格和\n格式。到目前为止，我一直通过删除空格、从地址中删除\n格式、通过用逗号分隔address列并获取最后一个索引(tbh，由于类型不一致)来创建states列来清除这个address列。我的问题是，在清理数据方面，我的工作方向是否正确？如<
浏览 0提问于2019-12-16得票数 0
回答已采纳
1回答
我正在寻找一种快速(实际时间，而不是渐近复杂性)的算法来计算相同的多组字符。例如，输入 BCDEFGHBDCEFDBACADABACBDCAADABAC 和另外两个相同的集合BCDEFGH
BCDEHFG 集合可以很大(>10,000个字符) 我正在考虑使用散列，然后将其映射到计数器，但是我必须考虑如何在不</e
浏览 7提问于2020-03-25得票数 0
但我看到，在笔记本中每次执行代码块时，后台都会产生额外的python进程。py文件中保存同样的文件并执行时，我会遇到错误，必须终止终端来停止程序的执行。我已经通过让if __name__ == '__main__':和在此下面创建池来纠正这一点，并使用pool.close()关闭池。我很想知道，在使用multiprocessing和相关函数(如map、apply、apply_async等)时，应该遵循哪些最佳实践？我计划使用这个模块并行读取文件，并希望将其</
浏览 6提问于2014-03-23得票数 15
h2o中的大多数算法在response_column中都有一个约束。对于其中一些变量，它必须仅是Enum类型变量，而对于其他变量则必须是int类型变量。然后，由于对某些算法的这种限制，我可以将我的原始类型用于response_column，但为了测试其他算法，我需要将其转换为Enum。我试图创建一个额外的列--比如说outputAsEnum，但是我没有找到一种方法
浏览 1提问于2017-06-02得票数 0
回答已采纳
如何在填充熊猫或蟒蛇的缺失值后，使用不同或几种技术，如各种统计技术或机器学习技术，添加“填充数据”列。我想做的是，在用平均值、中位数或标准差值或其他机器学习算法(如KNN或XGBoost或其他一些技术)填充数据之后，我想在csv或excel文件的末尾添加或追加这些或那个列，但不低于实际数据，我指的是文件的右侧例如，我已经使用统计技术和其他ML技术填充了某一列中丢失的</em
浏览 2提问于2019-09-26得票数 0
1回答
我正在尝试使用Kaggle数据集来学习ML。在其中一个问题中(用Logistic回归)，输入矩阵和参数矩阵的大小分别为(1110001，8)和(2122640，8)。我想任何语言都是一样的，因为它太大了。我的问题是，它们是如何在现实的ML实现中乘以矩阵的(因为它通常是这么大的)？
因此，有些ppl建议计算各部分的点积，然后进行组合。但是即使如此，矩阵对于
浏览 0提问于2018-07-06得票数 0
回答已采纳
2回答
我有一个使用256位主密钥的加密方案，其中两个单独的密钥(一个用于AES-256-CTR加密，一个用于HMAC- that 256)是使用HKDF导出的。不过，我不知道如何在不搞砸的情况下利用香港发展基金，所以我直截了当地说：
仅仅使用SHA-512作为散列算法来获得512位的输出并将其拆分为2是安全的吗？我知道使用盐并不是强制性的</e
浏览 0提问于2014-06-22得票数 1
回答已采纳
我如何在没有任何主题的情况下创建一个Drupal "Page“(不是块)？我不希望这个“页面”包含任何页眉/页脚/左/右列。我的理解是，这是不可能的，但我是否可以为我的网站创建一个完全空白的主题，并将其应用于适当的页面？我们有一个推销员想要在Dreamwever中构建他自己的一组页面，<e
浏览 0提问于2012-02-07得票数 0
回答已采纳
2回答
Microsoft数据库管理系统中可空数据类型的大小是多少？
例如，非空int应该占用4个字节，有多少空间用于可空列？这是非常奇怪的:为什么它包含*2乘法器(没有提到nvarchar -这个公式适用于所有变量大小的类型，如解释所示)；它必须是一个错误，Max_Var_Size被添加而不是乘以；最后，它包含+2个字节来存储值的长度，但同样不包含任何用于存储空值的错误。然后</
浏览 5提问于2014-01-13得票数 15
回答已采纳
3回答
比较两个非常大的文本内容是否不同
、、、、
我知道在需要时才会对某些东西进行优化，但同时我不想现在就设计一个系统，然后意识到这是一件愚蠢的事情。因此，即使我一次处理32个请求，它也将占用1GB的RAM ( 32 at * 32 req =1024 at)和检查内容时的额外CPU负载。在非常罕见的情况下，每次都会发送16 It，而更低效的是将16 It的内容按字符进行比较。但是，在设计一个系统时，总是估计最坏的情况是不是太过分
浏览 0提问于2020-03-10得票数 1
2回答
我创建了一个公有VPC，然后在其中添加了一堆节点，以便我可以将其用于spark集群。不幸的是，它们都有一个如下所示的分区设置：/dev/xvda 100G我在这些机器上设置了一个云管理器，所有节点只剩下1G用于HDFS。如何扩展分区，使其占用100G的所有空间？
我尝试创建
浏览 0提问于2015-07-21得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
