2回答
我有一个流式数据帧，我正在尝试将其写入数据库。这里有将rdd或df写入Postgres的文档。但是，我找不到关于如何在结构化流媒体中做到这一点的示例或文档。spark.apache.org/docs/latest/structured-streaming-programming-guide.html#foreachbatch，但我不能理解在何处创建jdbc连接以及如何将其写入数据库"false&
浏览 17提问于2019-02-19得票数 2
回答已采纳
当我尝试对列进行数据帧分组，然后尝试查找每个分组groupbyDatafram.min('timestampCol')的最小值时，似乎不能对非数字列执行此操作。我从一个postgresql S3实例流式传输数据帧，所以数据已经配置好了。
浏览 2提问于2016-04-05得票数 9
回答已采纳
可以使用psycopg2将Pandas数据帧写入PostgreSQL数据库吗？
最终目标是能够将Pandas数据帧写入Amazon RDS PostgreSQL实例。
浏览 0提问于2015-11-29得票数 7
回答已采纳
2回答
我有一个PostgreSQL数据库。Pandas有一个“to_sql”函数，可以将数据帧的记录写入数据库。但我还没有找到任何文档，说明在我使用完dataframe时如何使用pandas更新现有的数据库行。
目前，我可以使用pandas read_sql_table将数据库表读取到数据帧中。然后，我会根据需要处理数据。但是，我还不能弄清楚如何将该数据帧</e
浏览 73提问于2015-04-13得票数 25
1回答
我对Java还很陌生。我正在尝试创建一个 portlet，我需要基本上允许用户下载文件。可通过需要基本身份验证(用户名和密码)的GET请求访问该文件。用户可以看到这些凭证，因为它们将是他们的凭证。任何建议或建议都会很有帮助，我唯一的实际经验是将文件保存到本地计算机(在本例中是csv )，然后让用户下载该文件。
浏览 1提问于2011-04-15得票数 0
回答已采纳
1回答
如何将相机数据流式传输到位图中？我想将其流式传输到位图中，然后创建一个可变的位图，并在其上进行一些图像处理。我有两个问题1)我的相机意图将我带到Android图像拾取器，当我想留在我的应用程序中并在后台打开相机时- 2)我不知道如何实时访问相机数据来动态传播位图ARGB值。作为参考-我从不需要保存图像数据。我必须寻找一个帧到帧的更新。任何帮助都将不胜感激。
浏览 0提问于2013-03-01得票数 0
回答已采纳
1回答
广播在RTMP上工作得很好，但在本地保存生成的视频有时是可以的，有时只是带有声音的黑色帧(或者只是带有一些信息块的第一个部分帧)，有时它首先播放音频，然后以随机的FPS速度播放视频。
浏览 4提问于2017-02-28得票数 0
1回答
apache波束流处理故障恢复
、、、、
运行一个流式传输管道，其中我使用avroIO流式传输来自gcs的文件/记录，然后创建每分钟/每小时的存储桶来聚合事件并将其添加到BQ中。如果管道失败，我如何正确恢复并仅处理未处理的事件？我认为一种方法是写入扳手或bigtable，但可能是写入BQ成功，但DB失败，反之亦然？如何在流式管道中以可靠一致的方式维护状态，以便仅处理未处理的事件？我想确保BQ中的最终聚合数据是不同事件的确切计数，而不是计数不足或计数过多？spark streaming pipeline如何解决
浏览 26提问于2018-01-19得票数 0
1回答
i_nals, &pic_in, &pic_out); fwrite(nals[0].p_payload, frame_size, 1, fp);这是在处理帧并将其写入文件的循环中现在，我正在尝试通过RTMP流式传输这些编码帧。据我所知，RTMP的容器是FLV。因此，我使用命令行作为试验：
ffmpeg -i test.h264 -vcodec copy -f flv rtmp://localhost:1935/hls/
浏览 2提问于2016-11-15得票数 3
在Spark Structured Streaming (Java语言)中读取分区数据时，是否可以设置basePath选项？我只想加载特定分区中的数据，比如basepath/x=1/，但我还希望将x作为列加载。我为非流式数据帧设置basePath的方式似乎不起作用。+---+---++---+---+| 3| 4|
+---+--
浏览 56提问于2018-03-01得票数 6
有很多从kafka读取json的在线示例(写到parquet) -但我想不出如何将模式应用于来自Kafka的CSV字符串。流式数据：customer_1459,cusaccid_1102,27999942schema = StructTypeselect(from_json(col("value").cast("string"), schema).alias("json")) \
.se
浏览 22提问于2017-12-20得票数 3
1回答
屏蔽来自Kafka流的数据
、、、、
我使用spark Structured来流式传输来自kafka的数据，它为我提供了以下模式的数据帧 Column Typevalue binarytimestamp long
timestampType int 值Colum是以二进制格式出现的，但它实际上是一个具有struct类型的json字符串，要求读取json结构，并屏蔽其中的几个字段，然后写入数据
浏览 23提问于2020-10-16得票数 0
我们的主要数据存储是RDS Postgres数据库。如果我们可以将Postgres中发生的所有更改流式传输到某个接收器-无论是kinesis、elasticsearch还是任何其他数据存储，那就太好了。
浏览 0提问于2017-05-19得票数 12
1回答
我有一份数据帧列表。我想使用循环将它们写入R中的PostgreSQL数据库。但是，我只能在列表的第一个元素上执行循环。有人能告诉我如何改进我的循环吗？dcat是数据帧列表，y2admin_2012、y2admin_2013、y2admin_2014是数据帧。dcat <- list(y2admin_2012, y2admin_2013, y2admin_2014) 我可以将它们一个接一个地写入我的Pos
浏览 19提问于2020-04-10得票数 0
回答已采纳
我的工作是流式传输位置并读取数据帧中的所有文件，然后将相同的文件写入另一个hdfs位置。 有人能建议一下我该怎么做吗？我正在使用Azure Databricks平台和pyspark来完成此任务。
浏览 14提问于2019-10-08得票数 0
回答已采纳
我正在尝试在文件中写入/读取json对象。json结构很复杂，并且是动态生成的。
对于小的json对象，我只需将json转换为字符串，然后进行字符串写入/读取。如何将JSONObject直接流式传输到文件，以及如何从文件直接流式传回JSONObject？
浏览 2提问于2016-06-22得票数 0
在python中，我如何将数组的子集写入磁盘，而不将整个数组保存在内存中？ xarray输入/输出文档指出，除非通过dask.array流式传输，否则xarray不支持增量写入，仅支持增量读取。(此外，修改数据集仅影响内存中的副本，而不影响连接的文件。)dask文档建议在每次操作后保存整个数组？
浏览 11提问于2019-04-08得票数 1
我希望使用数据流将数据加载到使用的BigQuery表中，而不是流式处理(对于我们的用例，流式处理的成本太高)。我看到Dataflow SDK内置了对通过BQ流插入数据的支持，但我在Dataflow SDK中找不到任何开箱即用的支持加载作业的功能。如果我必须自己滚动，使用Google Cloud Storage执行BQ加载作业是一个多步骤的过程-将文件写入GCS，通过BQ API提交加载作业，并(可选)检查状态，直到作业完成(或失败)。我希望能够使用现有的TextIO.write()功能来
浏览 0提问于2015-06-17得票数 3
1回答
我正在尝试通过高速USB 2输出同步数据(以编程方式生成)，延迟非常低。理想情况下约为1-2毫秒。在Windows上我用的是WinUsb，在OSX上我用的是IOKit。WinUsb在其允许的范围内是相当严格的，并且要求每个等时传输是整数个帧(1帧=1毫秒)。我认为这个想法是你以某种方式每N毫秒(或微秒)唤醒一次，读取帧列表，计算出你需要写入的位置并这样做。我还没有为此编写代码，但我不完全确定如何继续，也没有我能找到的示例。当帧列表更新时，它
浏览 4提问于2017-06-01得票数 0
是否可以将Restful API中的数据直接导入到data prep中？ 我想可能会有一些变通的办法...1:将结果保存到GCS存储桶中的JSON文件中，并从那里导入。
浏览 12提问于2020-09-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
