我在Google Cloud Storage中有多个文件，每个文件都包含如下JSON数组- { { "Order} }, }} 现在我正在尝试从存储中<
浏览 27提问于2020-01-30得票数 0
回答已采纳
我需要阅读另一个GCP项目的PubSub主题的AVRO消息。我之前已经实现了Python管道，它从PubSub读取JSON消息并写入BigQuery。但我对处理阿夫罗的信息很陌生。我试图查找AVRO的Python文档，它将我指向这个链接
在这个链接中，有从文件读取和写入文件的示例，但我认为从PubSub读取这些函数并不有用。我使用下面的转换从PubSub读
浏览 9提问于2020-04-14得票数 2
回答已采纳
(一个用户提出了一个有趣的问题，该用户在这个论坛上发表文章)
我们正在尝试从GCS中摄取数据，并希望使用斯诺管道REST进行此操作，但在这一点上我们没有成功。
浏览 3提问于2019-10-15得票数 1
回答已采纳
我正在使用GCP来发送和接收JSON数据，Pubsub有一个特性可以从10分钟到7天(根据官方文档)保留一条消息。有没有办法从Pubsub删除一条拉出的消息？如果不是，那么为什么我们说Pubsub是一种“排队技术”，而我们却不愿意从违反基本队列属性的消息存储中删除消息呢？
我使用python客户端库来编写脚本。
浏览 0提问于2019-03-18得票数 3
回答已采纳
1回答
我正在努力从云流处理器正在写入的目标通道读取消息。spring流配置：spring.cloud.gcp.pubsub</e
浏览 25提问于2019-08-21得票数 1
回答已采纳
我试图从实时公共projects/pubsub-public-data/topics/taxirides-realtime流中读取消息，而且似乎我处理数据的速度不够快，或者确认存在问题。我尝试在我的家庭Windows 10 PC上运行相同的代码，从基于GCP的Ubuntu和GCP控制台终端运行相同的代码，结果相同。我还用5份不同的拷贝运行了这个小程序，从相同的订阅中读取，但即使在这种情况下，我也无法改变。
浏览 4提问于2020-01-17得票数 2
回答已采纳
我见过很多Apache Beam的例子，你从PubSub读取数据并将其写入GCS bucket，但是有没有使用KafkaIO并将其写入GCS bucket的例子呢？在哪里可以解析消息，并根据消息内容将其放入适当的存储桶中？例如我的用例是将数据从Kafka流式传输到GCS存储桶，所以如果有人在GCP中提出了一些更好的方法，也很受欢迎。
谢谢。问候你，阿南特。
浏览 12提问于2020-03-17得票数 1
1回答
我在AWS的Kafka服务器会生成AVRO消息，根据我所看到的，Dataflow需要接收JSON格式的消息。因此，我搜索并找到了一篇文章，解释了如何向PubSub接收消息，但在PubSub上，我只看到在这种体系结构中，他们在GCP上创建了一个Kafka来生成消息。我需要知道的是：
可以从外部的Kafka服务器在PubSub上接收AVRO消息，然后使用messages反序列化消息，将其发送到Dataflow，并最终将其发送到BigQ
浏览 1提问于2021-04-27得票数 3
回答已采纳
数据以JSON格式保存在我的本地文件夹中。我不使用云存储，而是试图通过云功能直接读取pubsub消息。通过手动传递消息测试流程，数据也被插入到Bigquery表中。唯一被困住的地方是，我将如何将.txt文件JSON数据集传递给云PubSub，{"ID":6,"NAME":"Komal","AGE":22,"ADDRESS":"Ass
浏览 0提问于2019-04-04得票数 2
2回答
描述
I有一个卡夫卡连接分布式模式的pubSubSource连接器，它只是简单地从PubSub订阅中读取并写入一个Kafka主题。问题是，即使我要向GCP PubSub发布一条消息，我也要在我的Kafka主题中写两次这个消息。。"：{ "org.apache.kafka.connect.json.JsonConverter"，"key.converter"：“org.apache.kafka.connect.js
浏览 1提问于2021-02-24得票数 1
回答已采纳
我从查找中读取一些客户记录并将其写入bigquery表，然后从该表中读取一些必需的数据字段，并尝试以批处理模式使用数据流管道将该数据(Json)作为消息推送到pubsub中。required_data = delete_rows | 'Retriving only required data' >> beam.ParDo(RequiredData())
push_to
浏览 1提问于2019-08-06得票数 0
1回答
我目前正试图在GCP中构建一个简单的文件(csv )处理系统，基本上它所做的就是当一个新的文件被上传时，代码会解析它并将它存储在一个数据库中。gcloud projects add-iam-policy-binding my-project \
--member=serviceAccount:service-0000000000@gcp-sa-pubsub.iam.gserviceaccount.com" -d '"data"'
浏览 1提问于2020-06-22得票数 3
回答已采纳
目前，我正在研究GCP文档，试图找出从BigQuery (使用Python)到PubSub的最佳/最快的摄取数据的方法。MAX_FLOW_MESSAGES = 20 ),pubsub_client = pubsub_v1.PublisherClient(credentials=credent
浏览 19提问于2022-07-05得票数 0
我遵循datetime字符串2020-03-30T16:26:37-04:00，当我尝试在bigquery中插入它时(我将string对象作为json对象的一部分发送)，我会得到错误
我从pubsub接收作为字节流的消息。然后将此字典发送到bigquery
浏览 5提问于2020-03-30得票数 0
回答已采纳
1回答
我的基本要求是创建一个从BigQuery表读取的管道，然后将其转换为JSON并将其传递到PubSub主题.一开始，我从Big中读取，并尝试将其写入Pub主题，但得到了一个exception error saying "Pub Sub" is not supported for batch pipelines所以我尝试了一些解决办法
读取BigQuery-> ConvertTo JSON
浏览 4提问于2021-10-13得票数 0
回答已采纳
我有一个定期上传照片到GCS存储桶的应用程序。当这些照片上传时，我需要添加缩略图并进行一些分析。如何设置存储桶的通知？
浏览 0提问于2017-03-29得票数 7
我正在建立一个概念的简单证明，以学习Google中的一些概念，特别是PubSub和Dataflow。= new PubSub(); const data = JSON.stringify({ hello: name });JSON.parse(Buffer.from(pubSubMessage.data, 'base64').toString()) : { error: 'no d
浏览 0提问于2019-05-16得票数 7
我正在使用回调函数向google发送消息，该函数读取来自未来的消息id。multiple messages to a Pub/Sub topic with an error handler."""topic_path = publisher.topic_path(project_id, topic_name)
def我正在成功
浏览 4提问于2019-09-26得票数 0
回答已采纳
toIterate; i++) { headers: { requests.push(axios.post(URL, JSON.stringify"us-central1")
.https.on
浏览 1提问于2021-04-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
