blocks|key|3404760|text|你可以查看我对这个问题的回答here+(还有其他各种相关的答案)。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|3404761|我的方法使用BinaryReader和BinaryWriter来提高性能。|3404762|我在最近的一个项目中使用了这种方法对50MB文件进行反序列化，与内置序列化或Xml序列化(我的数据集需要10分钟)相比，它非常快(不到5秒)。|3404763|entityMap|0|LINK|mutability|MUTABLE|url|https://stackoverflow.com/questions/1941928/best-way-to-store-data-locally-in-net-c/1942557#1942557^0|E|4|0|0|0|0^^$0|@$1|2|3|4|5|6|7|P|8|@]|9|@$A|Q|B|R|1|S]]|C|$]]|$1|D|3|E|5|6|7|T|8|@]|9|@]|C|$]]|$1|F|3|G|5|6|7|U|8|@]|9|@]|C|$]]|$1|H|3|-4|5|6|7|V|8|@]|9|@]|C|$]]]|I|$J|$5|K|L|M|C|$N|O]]]]

You can check out my answer <a href="https://stackoverflow.com/questions/1941928/best-way-to-store-data-locally-in-net-c/1942557#1942557">here</a> to this question (there are all kinds of other relevant answers there too).

My method uses BinaryReader and BinaryWriter for performance.

I have used this method to deserialize 50MB files in a recent project, and it does it quite quickly (under 5 seconds) compared to the built-in serialization or Xml serialization (10 minutes for my data set).

blocks|key|2317157|text|对小文件或大文件进行反序列化没有任何区别。你只需要确保你不会将非常大的文件反序列化到内存中，这会给你带来OOM。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2317158|当然，大文件需要更多的时间。如果这使您的用户界面没有响应，那么您将需要在后台线程中执行此处理。BackgroundWorker就是一个典型的解决方案。|2317159|顺便说一句，你的问题太模糊了。|2317160|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|I|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|J|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|G|$]]

There isn't any difference between de/serializing small or large files. You would just have to make sure that you don't deserialize very large files to memory, that's going to buy you OOM.

And large files are going to take more time of course. If that makes your user interface unresponsive then you'll want to do this processing in a background thread. BackgroundWorker is a typical solution for that.

Random shots in the dark here btw, your question is far too vague.

blocks|key|3404863|text|您确定序列化/反序列化是处理这么多数据的正确方法吗？也许像SQLite这样的客户端数据库是更好的解决方案，您可以在其中查询所需的确切数据，而不只是将所有内容加载到内存中？|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3404864|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

Are you sure serialization/deserialization is the right approach for that much data? Would perhaps a client-side database, like SQLite be a better solution, where you can query it for the exact data you need, instead of just loading everything into memory?

blocks|key|2321953|text|如果你真的有很大的文件(比方说大于100MB)，最好的办法就是现在只加载你需要的文件。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2321954|假设您有一个包含10.000个客户的列表-每个客户都有一个图像。将此列表保存在内存中是没有意义的。|2321955|例如，您可以加载文件中人员的所有姓氏和位置。所以用户可以搜索一个人，而你可以准确地加载那个人。|2321956|另一种可能是加载前十个，并将它们显示给用户。只要他点击“下一步”按钮，你就可以加载下一个10-只需计划如何组织信息即可。|2321957|数据库可以带来一些好处，而不是非常大的文件。它们可以抽象出在文件中导航所需的大量工作。|2321958|然而，在我看来，使用BinaryFormatter等的“单行序列化”在这种大小的文件上达到了它的极限。你必须想出其他的概念。|2321959|entityMap^0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|N|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|O|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|P|8|@]|9|@]|A|$]]|$1|F|3|G|5|6|7|Q|8|@]|9|@]|A|$]]|$1|H|3|I|5|6|7|R|8|@]|9|@]|A|$]]|$1|J|3|K|5|6|7|S|8|@]|9|@]|A|$]]|$1|L|3|-4|5|6|7|T|8|@]|9|@]|A|$]]]|M|$]]

If you really have large files (let's say larger than 100 MB), the best thing is to load only the things you need at the moment.

Let's say you have a list of 10.000 customers - each with an image. It makes no sense to keep this list in the memory.

For example, you could load all lastnames and the position of the person in the file. So the user could search for a person and you could load exactly that person.

Another possibility would be loading the first ten and display them to the user. As soon as he clicks at a "Next" button you could load the next ten - just plan how to organize the information.

Instead of very large files, databases can bring some advantages. They can abstract the large amout of work required to navigate within the file.

"Single-Line-Serialization" using BinaryFormatter etc., however, reaches its limits at files of that size in my opinion. You have to think of other concepts.

Is there any good approach to serialzing and de-serializing large files (>10M) in c#.

Thanks in advance.

serializing and deserializing large files

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

有没有什么好的方法来序列化和反序列化c#中的大文件(大于10M)？提前谢谢。

问序列化和反序列化大文件
EN

回答 4

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问序列化和反序列化大文件EN

回答 4

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问序列化和反序列化大文件
EN