我试图了解是否可以通过将索引名和类型传递给elasticsearch,通过传递索引名称和类型(类似于弹性弹力散装api),将数据索引到elasticsearch。
AWS文档(这里)说:
……此外,您的Elasticsearch集群的rest.action.multi.allow_explicit_index选项必须设置为true (默认),这样才能接受具有每个记录设置的显式索引的批量请求。有关更多信息,请参见指南中的Amazon配置高级选项。
但是我找不到任何关于如何做的文档,而且消防水管的配置需要索引名。
这一尝试没有奏效:
const data = [
{
"value": "1",
"_index": "index1",
"_type": "type1"
}];
const params = {
DeliveryStreamName: 'XXX', /* required */
Records: [/* required */
{
Data: JSON.stringify(data[0]) //new Buffer('...') || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
}
]
};
firehose.putRecordBatch(params, (err, data) => {
if (err) console.log(err, err.stack); // an error occurred
else console.log(data); // successful response
});如能提供协助,将不胜感激。
发布于 2020-09-03 13:11:30
有很长一段时间没问了,但还是.根据动态常见问题(https://aws.amazon.com/kinesis/data-firehose/faqs/):
单个传递流只能将数据传递给一个域和一个索引。如果希望将数据传递到多个域或索引,则可以创建多个传递流。
https://stackoverflow.com/questions/48419280
复制相似问题