问如何有效地从需要查找的stdin管道数据中读取

EN

我正在寻找C编程中从stdin管道读取数据的最佳方法。

问题:我需要查找这些数据(在这个流的末尾读取一些数据后，我需要从流的开头读取数据)。

小用例：gunzip -c 4GbDataFile.gz | myprogram

另一个：

1. 本地主机：nc -l -p 1234 | myprogram
2. 远程主机：gunzip -c 4GbDataFile.gz | nc -q 0 theotherhost 1234

我知道从fifo中读取只能完成一次。因此，目前：

• 我从的stdin 到内存，然后从这个分配的内存开始工作。

很丑，但很管用。一个明显的问题是，如果有人向我的应用程序发送一个巨大的(或连续的)流，我将以一个大的分配内存块结束，否则我将耗尽内存。(想想一个8Gb的文件)

我接下来想的是：

• 我设置了这个内存块的大小限制(可能是用户定义的)。一旦我从stdin：上读了这么多数据
  1. 要么我在这里停下来："Errr.内存不足，bazinga.算了吧。“风格。
  2. 要么启动卸载，将正在将读取到文件中的内容转储到文件中，然后在读取所有数据后从该文件中工作。

​

但那又有什么意义呢？我无法找到我正在阅读的数据的来源。如果这是一个本地的8Gb文件，我将把它转储到同一个系统上的另一个8Gb文件中。

所以，我的问题是：

当您必须在管道中来回查找时，如何有效地读取stdin管道中的大量stdin数据？

提前谢谢你的回答。

编辑：

我的程序需要在给定文件中的某个地方(取决于文件格式)读取元数据，以便可能在流的末尾读取元数据。然后，它可以在流开始时读取其他数据，然后在另一个地方读取等等。简而言之:它需要访问数据的任何字节。

例如，在开始从stdin读取之前，在不知道文件格式的情况下读取归档文件的数据:我需要检查归档元数据，查找归档文件的名称和偏移等。

，所以我将在本地复制stdin内容并从中工作。谢谢大家的投入;)