在Python语言中通过多处理或Dask减少json.loads内存使用量
在Python语言中，可以通过多处理或Dask来减少json.loads的内存使用量。
- 多处理（Multiprocessing）是Python标准库中的一个模块，它允许开发者在同一台机器上并行执行多个进程，从而提高程序的性能。在处理大量JSON数据时，可以将数据分成多个部分，然后使用多处理库将每个部分分配给不同的进程进行处理。这样可以充分利用多核处理器的优势，减少内存使用量。
- Dask是一个灵活的并行计算库，可以在单机或分布式环境中处理大规模数据集。它提供了类似于Pandas和NumPy的API，可以对数据进行分块处理，并自动将计算任务分配给不同的计算节点。在处理大量JSON数据时，可以使用Dask将数据分块加载到内存中，并使用Dask提供的并行计算功能进行处理，从而减少内存使用量。
无论是使用多处理还是Dask，都可以通过以下步骤来减少json.loads的内存使用量：
- 将大型JSON数据集分成多个较小的部分，以便每个部分可以在单独的进程或Dask任务中处理。
- 使用多处理库（如multiprocessing）或Dask来创建并行任务，将每个部分的数据加载到内存中，并使用json.loads对其进行解析。
- 在处理完每个部分后，及时释放内存资源，避免内存泄漏。
- 如果可能的话，可以使用json.load而不是json.loads来直接从文件中加载JSON数据，以避免将整个数据集加载到内存中。
- 根据实际情况调整每个部分的大小，以平衡内存使用量和处理性能。
对于Python语言中通过多处理或Dask减少json.loads内存使用量的应用场景，主要适用于处理大规模的JSON数据集，例如日志文件、传感器数据等。这种技术可以提高数据处理的效率，并减少内存占用，特别是在单机环境下处理大量数据时非常有用。
腾讯云提供了多种与云计算相关的产品和服务，其中一些与Python语言和数据处理相关的产品包括：
- 云服务器（CVM）：提供了弹性的虚拟服务器实例，可以用于部署Python应用程序和进行数据处理任务。链接地址：https://cloud.tencent.com/product/cvm
- 弹性MapReduce（EMR）：基于Hadoop和Spark的大数据处理服务，可以用于分布式处理大规模数据集。链接地址：https://cloud.tencent.com/product/emr
- 弹性缓存Redis（TencentDB for Redis）：提供了高性能的内存数据库服务，可以用于缓存和加速数据处理。链接地址：https://cloud.tencent.com/product/redis
请注意，以上仅为腾讯云的一些产品示例，其他云计算品牌商也提供类似的产品和服务。
相关·内容
1回答
在单台多核机器上索引大型dask数据时的内存使用情况
parquet、dask、dask-distributed、fastparquet、dask.distributed
我正试图将变成Parquet背景的dataframe，在450 g 16核GCP实例中按标题索引。CirrusSearch转储作为一个单独的json行格式化文件。英国Wipedia转储包含500万个存储器，压缩了12G &扩展了90+G。一个重要的细节是，记录并不完全是平坦的。
最简单的方法就是
import json
import dask
from dask import bag as db, dataframe as ddf
from toolz import curried as tz
from toolz.curried import operator as op
bl
浏览 1提问于2018-06-29得票数 5
1回答
计算具有共同依赖关系的两个值时，Dask高内存使用率
python、dask、dask-distributed、dask-delayed
我在一台机器上使用Dask (LocalCluster有4个进程，16个线程，68.56 to内存)，当我试图一次计算两个共享依赖关系的结果时，遇到了工作内存问题。
在下面显示的示例中，仅用一次计算就可以很好地快速计算result，工作人员的总内存使用量最高可达1 1GB左右。但是，当使用两次计算来计算results时，当总内存使用量约为40 is时，工作人员会迅速耗尽所有内存，并开始写入磁盘。计算最终将完成，但一旦开始写入磁盘，就会有一个巨大的减速。
直观地说，如果读入一个块，然后立即计算它的两个和，那么该块可以被丢弃，并且内存使用率保持在较低水平。然而，看起来Dask正在优先加载数据，而不
浏览 18提问于2021-02-27得票数 2
回答已采纳
2回答
为什么Dask在阅读时显示FileNotFound错误？
python、pandas、dask
我遇到了达斯克的问题，我在潘达斯身上看不见。我在谷歌云的笔记本上读过小数据集。
df被保存为一个数据文件，我现在删除源'data_iris.csv‘文件，它显示文件找到的错误。
如何克服它，因为我想删除文件后，保存到数据。
浏览 2提问于2021-09-30得票数 2
回答已采纳
1回答
使用从拼花文件创建的dataframe时内存使用量过高
parquet、dask
我有拼花文件，也就是800 K行x8.7K列。我把它装进了一个dask数据仓库：
import dask.dataframe as dd
dask_train_df = dd.read_parquet('train.parquet')
dask_train_df.info()
这产生了：
<class 'dask.dataframe.core.DataFrame'>
Columns: 8712 entries, 0 to 8711
dtypes: int8(8712)
当我尝试执行像dask_train_df.head()或dask_train_df
浏览 0提问于2018-12-24得票数 6
回答已采纳
2回答
Redis Db是否具有内置压缩选项
redis
Redis是“记忆怪物”。将数据存储为“压缩的json字符串”可以最大限度地减少内存使用量。Redis Db中有没有内置的压缩选项？
浏览 0提问于2012-06-06得票数 10
回答已采纳
3回答
读取Parquet文件时在Pandas中创建内存错误数据
pandas、dataframe、dask、parquet、vaex
我有一台Windows 10机器，有8 GB内存和5核。
我已经创建了一个用gzip压缩的拼花文件。压缩后的文件大小为137 MB。当我试图通过Pandas、dask和vaex读取拼花文件时，我会发现内存问题：
潘达斯：
df = pd.read_parquet("C:\\files\\test.parquet")
OSError: Out of memory: realloc of size 3915749376 failed
Dask
import dask.dataframe as dd
df = dd.read_parquet("C:\\files\\test.
浏览 22提问于2020-11-26得票数 1
1回答
比较内存中的集群计算系统
apache-spark、redis、apache-storm、memcachedb
我正在从事Spark(Berkeley)集群计算系统的工作。在我的研究中，我了解了一些其他的内存系统，如Redis，Memcachedb等。如果有人能给我一个SPARK和REDIS (以及MEMCACHEDB)的比较，那就太好了。Spark在哪些情况下比其他内存系统更有优势？
浏览 4提问于2013-05-22得票数 10
回答已采纳
1回答
Airflow调度器内存不足问题
airflow、airflow-scheduler
我们正在试验Apache Airflow ( 1.10rc2版本，python 2.7)，并将其部署到kubernetes、webserver和调度器到不同的pod，数据库也使用云sql，但我们一直面临调度器pod内存不足的问题。
在OOM的时刻，我们只运行了4个示例Dags (大约20个任务)。pod的内存是1Gib。我在其他帖子中看到，一个任务在运行时可能会消耗大约50Mib的内存，所有的任务操作都在内存中，没有任何东西被刷新到磁盘，所以已经有1 1Gb了。
有没有什么经验法则可以用来计算基于并行任务的调度器需要多少内存？
除了降低并行度之外，是否有任何调整可以用来减少调度器本身的内存使用
浏览 92提问于2018-08-28得票数 5
回答已采纳
2回答
什么是ray::IDLE ?为什么一些工作进程会耗尽内存？
python-3.x、ray
我在EC2上运行ray。我在c5.large实例上运行worker，它有大约4G的RAM。
当我运行许多作业时，我看到以下错误消息：
File "python/ray/_raylet.pyx", line 631, in ray._raylet.execute_task
File "/home/ubuntu/project/env/lib/python3.6/site-packages/ray/memory_monitor.py", line 126, in raise_if_low_memory
self.error_threshold))
r
浏览 176提问于2020-02-06得票数 3
回答已采纳
1回答
使用python处理来自bigquery的大型数据集，将其加载回bigquery表
python、google-cloud-platform、google-bigquery、bigdata
我在bigquery中有一个巨大的数据集，有5000万行和57列。我想做很多过滤/转换/清理，而不是使用sql。我尝试使用dask/panda/python将数据加载到本地mac的dask数据帧中，进行转换，然后将数据推送回bigquery，以便其他总线可以使用它。将数据推送回bigquery需要超过3个小时。有没有其他方式，或者谷歌云服务，我可以利用？
浏览 2提问于2019-03-30得票数 0
2回答
任务作业因为内存使用而被杀死？
python、performance、dask
您好，我有一个python脚本，它使用dask库来处理非常大的数据帧，比物理内存还大。我注意到，如果内存使用率在一段时间内保持在计算机的100%，作业会在运行过程中被终止。
这是意料之中的吗？我本以为数据会溢出到磁盘上，而且还有大量的磁盘空间。
有没有办法限制它的总内存使用量？谢谢
编辑：
我也试过了：
dask.set_options(available_memory=12e9)
它没有起作用。它似乎没有限制它的内存使用。同样，当内存使用率达到100%时，作业将被终止。
浏览 17提问于2018-01-24得票数 3
回答已采纳
1回答
电火花在AWS电子病历中的应用
amazon-s3、pyspark、amazon-emr
我对PySpark和AWS都是新手。我得到了一个小项目，在这个项目中，我需要每小时清除大量的数据文件，并在此基础上构建聚合数据集。这些数据文件存储在S3上，我可以利用Spark中的一些基本功能(如filter和map)来派生聚合数据。为了节省出口成本，在执行了一些CBA分析之后，我决定创建一个EMR集群并进行pypark调用。这个概念使用由S3桶中创建的文件触发的Lambda函数很好。我正在将输出文件写回S3。
但我无法理解我创建的3节点EMR集群的需求及其对我的使用。我如何利用Hadoop文件系统在这里和在节点上可用的所有存储？
如何(如果可能的话)查看集群中从节点/核心节点的使用情
浏览 4提问于2020-01-14得票数 0
2回答
大内存Python后台作业
python、mongodb、heroku、flask、python-rq
我正在运行一个将数据加载到MongoDB数据库中的Flask服务器。由于有大量的数据，这需要很长时间，我想通过后台工作。
我使用Redis作为message和Python来实现作业队列。所有代码都运行在Heroku上。
据我所知，python使用泡菜来序列化要执行的函数，包括参数，并将其与其他值一起添加到Redis散列值中。
由于参数包含要保存到数据库的信息，所以它相当大(~50 of )，当它被序列化并保存到Redis时，它不仅花费了大量的时间，而且消耗了大量的内存。Redis关于Heroku的计划只需花费30美元/百万美元，只需100 m。事实上，我经常会遇到OOM错误，例如：
OOM c
浏览 6提问于2017-01-04得票数 5
回答已采纳
2回答
使用Mahout实现基于离线项的推荐
mahout、recommendation-engine、mahout-recommender
我正在尝试添加建议到我们的电子商务网站使用Mahout。我决定使用基于项目的推荐，我有大约60K个产品，200K个用户和4M个用户-产品偏好。我正在寻找一种通过离线计算项目相似度来提供推荐的方法，这样recommender.recommend()方法将在100毫秒内提供结果。
DataModel dataModel = new FileDataModel("/FilePath");
_itemSimilarity = new TanimotoCoefficientSimilarity(dataModel);
_recommender = new CachingRecommend
浏览 0提问于2013-06-13得票数 1
回答已采纳
1回答
为什么当洗牌发生时，火花会占用太多的内存？
memory、apache-spark、shuffle
我发现当星火过程中发生洗牌时，内存使用太多了。
下图是使用700 is数据和三个rdd.map时的内存度量。(我使用Ganglia作为监视工具，只显示集群的三个节点。X轴表示时间序列，y轴表示内存使用量)
下面的图也是内存度量，当我使用相同的数据并使用三个rdd.groupBy，三个rdd.flatMap (顺序:rdd.flatMap)
正如您所看到的，尽管我只使用了700 GB的数据，但所有三个节点的内存都有了很大的增加(几GB)。实际上，我有8个工作节点，所有8个工作人员的内存都大大增加了。
我认为主要原因是洗牌，因为rdd.map没有洗牌，但rdd.groupBy有洗牌。
在这种情
浏览 6提问于2017-01-06得票数 0
1回答
如何使用驱动程序加载数据和执行程序进行处理和写入？
apache-spark、spark-structured-streaming
我想使用星火结构化流来观察一个仅存在于驱动程序上的放置位置。我做这件事
val trackerData = spark.readStream.text(sourcePath)
在此之后，我想解析、过滤和映射传入的数据，并将其写成弹性数据。
这很好，除非它只在spark.master设置为local[*]时才能工作。当设置为yarn时，即使部署模式设置为client，也找不到任何文件。
我认为从本地驱动程序节点读取数据是通过将部署设置为客户端并在Spark集群中进行实际处理和写入来实现的。
如何改进我的代码以使用驱动程序读取和集群处理和写入？
浏览 0提问于2018-03-05得票数 0
1回答
GCP云函数内存使用有何影响
google-cloud-functions
我最近重新部署了一堆python GCP云函数，注意到它们占用了大约50MB的内存，触发了内存限制错误(我必须将内存分配从256mb增加到512mb才能让它们运行)。不幸的是，这是成本的两倍。
我在试着找出内存增加的原因。我唯一能想到的就是python包最近的升级。因此，我在requirements.txt中指定了所有包版本，基于我的本地虚拟环境，最近没有更改。内存使用量的增长仍然存在。
是否还有其他因素会导致内存使用率增加？Python运行时仍然是3.7，函数处理的数据没有变化。这似乎也不是GCP对云功能所做的更改，因为它只发生在我重新部署的功能上。
浏览 1提问于2021-11-05得票数 1
1回答
BlazingSQL和dask之间的关系是什么？
gpu、dask、parquet、cudf
我正在努力理解BlazingSQL是一个竞争对手还是dask的补充。
我有一些中等大小的数据(10-50GB)保存在Azure blob的存储空间中。
IIUC我可以使用BlazingSQL语法查询、连接、聚合和使用CuDF，但我也可以使用dask_cudf将数据读入CuDF，并使用python/dataframe语法执行所有相同的操作。
在我看来，他们是直接的竞争对手？
使用dask的好处之一是它可以对分区进行操作，这样就可以对大于GPU内存的数据集进行操作，而BlazingSQL仅限于适用于GPU的数据集，这是正确的吗？
为什么要选择使用BlazingSQL而不是dask呢？
编辑：
谈到
浏览 1提问于2020-01-18得票数 3
回答已采纳
1回答
只适用于键值NoSql数据模型的地图缩减？
hadoop、mapreduce、neo4j、key-value-store
(我只具备NoSQL的概念知识，没有工作经验)
我知道以下类型的NoSQL数据库：
键值、列族、文档数据库(集合)
图形数据库
地图减少范式适用于所有人吗？我的猜测是不会的，因为Map通常是从键和值的角度来讨论的，但是由于不同NoSQL商店之间的区别并不是那么清晰，我想知道Map是适用还是不适用的。由于我正在评估我的几个应用程序的想法应该使用哪个DB，我应该考虑是否有可能实现大规模的处理，无论我使用哪个商店。
浏览 2提问于2013-06-06得票数 1
1回答
轮询多个twitter账号的推文印象和点赞
java、twitter、java-stream、twitter-streaming-api
我目前正在做一个用例(用Java，Spring开发)，其中我有很大的不同。%的twitter帐户(第帐户的数量可以达到数千个)，我可以在配置/计划时发布数据(推文)。
我已经实现了将数据发布到twitter上，但我对如何从各种twitter账户中提取印象/转发和喜欢的推文感到困惑。
一种解决方案是定期轮询所有账户，但在这种情况下，我不会在推文上得到任何点赞，因为我使用的是用户，并提到了带有"since_id“参数的时间线API，它不会在我的旧推文上返回点赞数，因为它总是获取最新的推文和转发。
另一种选择是使用流式API，我将为我拥有的每个twitter帐户打开一个流，但这对我来说似乎不
浏览 1提问于2017-05-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
