问如何在Go中有效地使用大型数据数组(超过10 with )？

EN

看看bytes.NewBuffer：http://golang.org/pkg/bytes/#NewBuffer的描述

听起来，您可以创建一个16 to字节的切片，并使用它初始化缓冲区。

您可以考虑这样一个事实:如果程序只需要复制数据，它就不需要将数据保存在内存中。

现在Go标准库的强大特性是接口的合理使用：http.Response的Body成员实现了io.ReadCloser接口，满足了http.Client的Post方法的body参数的类型。

所以你可以这样滚：

1. 对文档执行请求--您将得到http.Response的一个实例，该实例具有io.readCloser类型的Body成员。 请注意，此时您还没有开始从“源”服务器接收主体，因为要做到这一点，您必须耗尽io.ReadCloser of Body。
2. 启动另一个(据说是POST)请求来发送数据，并在发出请求时提供Body成员在第一步中获得的数据。 完成此请求后，调用Body成员上的Body。

就像这样：

import "net/http"

func Pipe(from, to string) (err error) {
    src, err := http.Get(from)
    if err != nil {
        return
    }
    dst, err := http.Post(to, myPostType, src.Body)
    if err != nil {
        return
    }
    // Now read and then Close() the dst.Body member.
}

在这段代码中，http.Post it itself。

您可以将bytes.Buffer添加到混合中，希望减少执行的syscalls数量，但除非普通方法不起作用，否则不要这样做。

正如@Evan已经指出的:您可以在创建新缓冲区时选择初始缓冲区大小。

由于缓冲区的分配非常昂贵(这就是为什么您的grow调用需要这么长时间；如果缓冲区的大小不再合适，它们就重新分配)，所以选择正确的缓冲区大小是关键。选择正确的缓冲区分配策略取决于许多因素。您可以根据应用程序配置文件选择自己的增长缓冲区的方法。

您还应该考虑回收缓冲区以防止堆碎片：http://blog.cloudflare.com/recycling-memory-buffers-in-go