问用Lambda变换代替S3触发Lambda转换的优点

EN

AmazonKinsisDataFire浩可以根据大小或时间将数据流组合成更少、更大的亚马逊S3对象。这使得在S3中存储并加载到Redshift中更加容易。

Amazon 的性能很差，如果您继续在几行数据上使用INSERT，而在更大的数据集中使用COPY (这也允许并行加载)。

将负责整个接收数据的过程，并将其插入Redshift。如果您想自己动手，您可能会为每个对象触发一个AWS函数，您需要编写代码将其插入Redshift并处理错误。这实际上是一个平衡成本与方便的问题。

最大的一件事是火龙软管的功能。本部分将Kinesis打包到大小合理的S3文件中。将许多小文件加载到Redshift中可能效率很低。因此，您的Lambda进程还需要绑定到Redshift可加载的文件中。

问得好。

如果你不使用防火墙，真正的问题将是、cost和performance。

成本

S3的存储成本较低，但对于put请求也有成本。如果有很多小文件，那么存储成本就会更低，但是你会有更多的存档请求成本。因此，您不希望创建大文件并将其放入S3 .In --在这种情况下，您必须积累许多文件，然后放入s3 .Firehose，为您做这件事。否则，你需要写一些东西，然后跑到某个地方。

性能

当插入次数较少时，几乎所有的数据池都有更好的性能。就像明智的红移。因此，您将再次希望将所有小文件组合起来，创建一个大文件，然后将/insert加载到Redshift中。福尔豪斯又为你做了一次。

如果累积小文件，则创建更大的文件。