我有一个触发器,它为在Kinesis上接收到的每个事务执行lambda函数。生产者通过PutRecordsRequest()方法发送多个事务。Lambda函数如下;
var AWS = require('aws-sdk');
var firehose = new AWS.Firehose();
var fhStreamName = "transactions";
function writeToS3(jsonString,firehoseStreamName){
console.log("Writing to S3 : " + jso
我想通过亚马逊Firehose将文件内容作为memory stream发送到S3存储桶。下面是我的尝试,它适用于小文件,但我有一个1 GB的文件,我得到的是{"Exception of type 'System.OutOfMemoryException' was thrown."}。
我的代码片段:
[HttpPost]
public async Task<bool> Upload()
{
try
{
var filesReadToProvider = await Request.Content.ReadAsMulti
我使用AWS SDK从Java应用程序写入数据,该应用程序将数据发布到Kinesis流。这是使用以下代码一次以10条记录为一批来完成的;
// Convert to JSON object, and then to bytes...
ObjectWriter ow = new ObjectMapper().writer().withDefaultPrettyPrinter();
String json = ow.writeValueAsString(transaction);
// Add byt
所以,除了最后一步,我已经做好了一切准备和工作,最后一步是将数据从Firehose发送到Elasticsearch。
这是我在服务日志中遇到的错误:
Error received from Elasticsearch cluster. {"error":{"root_cause":[{"type":"security_exception","reason":"no permissions for [indices:data/write/bulk] and User [name=arn:aws:iam::91
当设置一个使用terraform的Amazon事件发布的动态数据消防水管事件目的地时,我会得到以下错误。看起来terraform创建了IAM角色,但是在创建带有IAM角色的消防水管事件目的地时抛出了错误。然而,能够从AWS控制台附加相同的IAM角色与消防软管事件目的地,这是由terraform创建的。如果我使用AWS控制台手动创建相同的IAM角色,然后将角色的ARN传递给terraform,它就能工作了。但是,如果我尝试使用terraform创建角色,然后创建事件目标,它就不起作用了。有人能帮我吗?
Error creating SES configuration set event dest
当我试图在我的项目中运行terraform apply时,它会引发以下错误:
Error: Error Updating Kinesis Firehose Delivery Stream: "delivery"
│ InvalidArgumentException: Enabling or disabling Dynamic Partitioning is not supported at the moment
│
│ with module.shippeo-api.module.v1.aws_kinesis_firehose_delivery_stream.event