我正在做一个使用IoT设备的项目,这些设备连接到托管在Azure云中的dotnet服务器。我目前正在使用for循环来读取实时数据,但我想使用Pandas从Redis数据库中读取一些实时数据。有人能给我解释一下怎么开始吗? 使用下面的脚本读取统计数据,但希望开始使用pandas。 import os
import re
import json
import traceback
from collections import Counter
import time
import datetime as dt
import redis
from tqdm import tqdm # taqadu
我有一个正在运行的实时系统,它使用一个redis DB和一个旧的ELK堆栈。我正在创建一个新版本。我想要的是使用我的新Logstash的输入部分从旧的redis DB读取数据,但在我的测试中,当我这样做时,我似乎会耗尽它的数据。我不想以任何方式修改当前的logstash或实时管道实现(即向实时logstash配置添加第二个输出)。
LIVE Data -> Redis -> Logstash -> ES -> Kibana
| :
Read only
我一直在研究如何可靠地实现一种可以存储实时数据的贯穿式缓存机制。
基本上我们需要的是:
Save data to Redis -> Save to database (underlying)
Read data from Redis <- Read from database in case unavailable in cache
帮助实现这种缓存策略的在线资源似乎很少。
问题是:
1) Redis和数据库之间没有内置事务的可能性(在我的例子中是Mongo)。
2)没有事务意味着写入底层数据库是不可靠的。
我所看到的最简单的实现方法是使用Kafka这样的代理,并将消息放到
我试图创建实时聊天使用Django后端和角4前端与PostgreSQL数据库。让我们假设我想要创建聊天机器人,例如。在我看来,最理想的解决方案是使用websockets?我使用Redis创建通道层。现在,我想将所有消息保存到我的PostgreSQL数据库中。我想知道该怎么做。我应该创建模型并在consumers.py中使用它们,还是有另一种更优化的方法?将来,我想从数据库中分析数据并返回答案。
consumers.py:
# In consumers.py
from channels import Group
# Connected to websocket.connect
def ws_c