大家好，我是皮皮。 一、前言 前几天在Python星耀群【我喜欢站在一号公路上】问了一个Python库安装的问题，一起来看看吧。...下图是他的一个报错截图： 二、实现过程 这里【对不起果丹皮】提示到上图报错上面说要你安装pep517，但是这个好像还挺难的。后来【莫生气】提示别省事，一个一个的去安装。...主要txt文件里边的库太多了，而且格式不太规则，挨个安装后，后来暂时没有发现问题。 三、总结 大家好，我是皮皮。...这篇文章主要盘点了一个Python库安装的问题，文中针对该问题，给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。
对于 MySQL 慢 SQL 的分析 在之前的文章，我提到过 SQL 调优一般通过下面三个工具： EXPLAIN：这个是比较浅显的分析，并不会真正执行 SQL，分析出来的可能不够准确详细。...这里再说一下在不同的 MySQL 版本， EXPLAIN 和 OPTIMIZER TRACE 结果可能不同，这是 MySQL 本身设计上的不足导致的，EXPLAIN 更贴近最后的执行结果，OPTIMIZER...但是不能直观的看出来为啥会走错索引，需要通过 OPTIMIZER TRACE 进行进一步定位。但是在进一步定位之前，我想先说一下 MySQL 的 InnoDB 查询优化器数据配置。...这也引出了一个新的可能大家也会遇到的问题，我在原有索引的基础上，加了一个复合索引（举个例子就是原来只有 idx_user_id，后来加了 idx_user_status_pay），那么原来的只按照 user_id...所以最好一开始就能估计出大表的量级，但是这个很难。 结论和建议 综上所述，我建议线上对于数据量比较大的表，最好能提前通过分库分表控制每个表的数据量，但是业务增长与产品需求都是不断在迭代并且变复杂的。
一个内网的网页，用来校验语法错误并保存。 还有一个数据库连接软件dbeaver，用来连上去跑SQL。...一时半刻我看得眼花缭乱，不禁问他：难道没有什么好的工具可以统一编辑、format、校验语法错误的事吗？他告诉我没有，至少在免费软件里没有。...从那刻起，我诞生了一个想法——撸一个和Flink SQL Helper差不多的插件，但是for Hive and Spark SQL。...我趁着国庆休假的时候完成了大部分逻辑，并陆陆续续自测、在公司里小范围推广，收集反馈，目前已经打磨的比较好了。那么现在就来给大家介绍介绍这个好东西。...老规矩，如果大家有任何建议或者需求、问题反馈，可以在Github的Issue（github.com/camilesing/…）中反馈，我看到后会第一时间回复。
在使用RocketMQ的时候，我们知道消费者，可以根据不同条件进行过滤消息来消费的。比如说通过tag进行过滤。tag是一种最简单但是也最使用的一种过滤方式。但是，有些情况下，我们需要复杂的过滤。...这个时候，可能tag过滤就不一定能满足了，其实RocketMQ也支持SQL语法的过滤。 在使用sql语法过滤步骤： 在生产者发送消息的时候，在消息体中put我们自定义的属性。...如下： 注意：再不同版本的rocketMQ下，可能有setUserProperty.而不是putUserProperty方法 在消息的消费者订阅消息的时候，可以bysql进行过滤。...启动消费者的时候，发现如下错误： 从错误信息中，我们可以看到，是当前的broker不支持SQL92语法过滤。 那么怎么修改呢？...我们就可以看到，消费者值消费了i>4的消息了。如下图：
在之前我写的文章阿里开源MySQL中间件Canal快速入门中，我已经介绍了Canal的基本原理和基础使用。...Statement模式」 每一条会修改数据的sql都会记录到master的binlog中，「slave在复制的时候sql进程会解析成和原来master端执行相同的sql再执行。」...进行过滤) ❞ 我上面截图中那种收到两条消息的情况，第一条消息就是一个QURTY，并且没法确定表名，所以没法开启过滤。...这就是为什么canal的数据走了很多之后，如果一直不对它ack那么就不会再有新的数据过来了的原因。...「我自己对Canal这样做的的猜测：Canal应该想是让专业的工具做专业的事，Canal就只是一个读取Binlog的中间件，并不是专业的消息队列，消息应该让专业的消息队列来处理。」
Statement模式 每一条会修改数据的sql都会记录到master的binlog中，slave在复制的时候sql进程会解析成和原来master端执行相同的sql再执行。...端被执行的时候能够得到和在master端执行时候相同的结果。...进行过滤) 我上面截图中那种收到两条消息的情况，第一条消息就是一个QURTY，并且没法确定表名，所以没法开启过滤。...这就是为什么canal的数据走了很多之后，如果一直不对它ack那么就不会再有新的数据过来了的原因。...我自己对Canal这样做的的猜测：Canal应该想是让专业的工具做专业的事，Canal就只是一个读取Binlog的中间件，并不是专业的消息队列，消息应该让专业的消息队列来处理。
最高级的红酒，一定要掺上雪碧才好喝。 基于这样的品味，我设计出了一套在经典nosql数据库redis上实现SQL引擎的方法。...既然redis号称nosql，而我偏要把SQL加到redis上，于是这个技术方案取名为【YesSql】。 1.在redis上实现SQL查询的技术基础 redis上可以执行lua。...整个SQL引擎就是在lua上解析SQL语句，执行，并返回结果。 lua有很好的正则表达式引擎，因此解析SQL语法变得简单。...2.实现细节 2.1 create table 假定我只支持number和string两种数据结构 把整个按行组织的表看成由N个字段组成的列存储 也就是说，字段的组织是：table_column ->...rowid，然后再查询 使用and/or/in及其其他字段上的表达式，无非也就是层层加过滤，知道最终确定rowid的集合 2.4.3 select部分 每选择一个列，就意味着要输出这个列的值给查询方 字段上的表达式
并在此基础上优化了在线扩缩容的能力。 下面我们继续讨论第二节中提到的最后一个问题：业务消息是如何校验、错误消息如何重定向、超时消息如何处理？ ...并根据计算结果将消息转发给不同分片节点的 MdbAgent，其会对收到数据进行第一次较验。如果有错，会将消息返回，并带上正确的分片信息。MdbClient收到分片错误回复后，会进行消息重定向。...错误消息如何重定向？ 当进行扩缩容的数据迁移时，MdbAgent会最先收到某个slot的更新信息。MdbClient则最后才能收到。...在MdbClient收到slot更新前，其所发出的关于这个slot的消息，都属于错误消息。考虑最大程度减少扩缩容时对正常业务的影响，MdbAgent在返回错误时，会带上正确分片的信息。...MdbClient会给5个分片分别发送一条查询信息，在分别收到5条返回结果时，MdbClient会转发这5条消息给App的dbc驱动。由App的dbc驱动进行数据的汇总。最终，App会收到完整的数据。
---- 三、为什么选择引入 Flink 至于为什么和 Spark Structured Streaming(SSS) 进行对比呢？因为这是实时SQL化这个大背景下比较有代表性的两个引擎。...聊完性能，接下来就说一说 SQL 化，这也是现在的一个大方向吧。我在开始尝试 SSS 的时候，尝试了一个 SQL 语句中有多个聚合操作，但是却抛了异常。...最后呢结果就如图所示，起了 6 个 TaskExecutor，总共 12 个 Slot，但是只有 6 个是被正常使用的，还有 6 个一直处于闲置的状态。 ? 在修复这个问题的过程中，我有两次尝试。...接下来我会讲一些错误的典型，以及最后是怎么去使用的。 第一个错误的典型就是在 Flink 的用户代码中启动一个 Spring 环境，然后在算子中取调用相关的 bean。...第二个错误比第一个错误看起来要好多了，我们在算子中使用了 RichFunction，并且在 open 方法中通过配置文件获取了一个 Spring Context。
按照我的定义，APM或应用程序性能管理在很大程度上是行业或供应商创建的术语，用于管理或监控代码性能，应用程序依赖项，事务时间和整体用户体验的任何事情。 ?...开发人员关注的10个应用性能管理功能 对于开发人员来说，APM实际上是关于数据的，我的意思是大量数据。...2.代码级性能分析 如果你想了解为什么应用程序运行缓慢，引发错误或出现奇怪的错误，则必须深入到代码级别。知道某个Web请求不起作用很重要，而且实际上很容易。弄清楚为什么它不起作用很难，那就很难了。...SQL查询速度很慢; SQL数据库服务器已关闭; 外部HTTP Web服务调用失败; 云上共同租户复杂的环境造成的问题。 举一个例子，我们最近在访问Hubspot的API时遇到了一些问题。...但是，通过创建和监视自己的自定义指标，您可能会获得更多价值。在Stackify，我们使用它们来执行诸如监控每分钟有多少条日志消息PUSH给我们或处理消息离开队列需要多长时间的事情。
它来自于databases来的，在那里它被用来提前计算视图，以防数据发生变化。在流媒体中，数据一直在变化，所以查询在维护成物化视图时往往更有用。...◆ 流上的SQL和数据库之间的区别 一旦你尝试在流上使用SQL，一些关键的区别就会变得很明显。 时间点查询与连续查询 在传统数据库上运行SQL查询，会从一个时间点上返回一组静态的结果。...◆ 不同的行动为底层引擎创造工作 在读取方面，传统的数据库引擎一直在闲置，直到它收到一个查询，然后它计划和优化它，并开始工作提供结果。一旦它回复了结果，它就会再次闲置，直到它收到另一个查询。...批量处理中的时间间隔和操作顺序的协调 在下一个批次运行前无法修复或测试的错误所导致的长时间停工 仪表盘加载缓慢 缓存、反规范化造成的不一致问题 微服务 流式SQL被用来取代在微服务中做复杂数据协调和转换的代码...通过降低复杂性，流式SQL向更多的公司开放了神奇的实时用户分析功能。 业务自动化 - 一旦你有了实时仪表盘的流式SQL，一个自然的进展就是开始在相同的数据上做出自动化的决定。(例如。
本文将会给出具体的示例继续讲解，这些示例均来源于官方文档，但其使用的是传统的回掉函数的写法，我将其改写成了 async/await 的形式，同时对内容做了部分微调。...生产者投递消息（send.js）： 消费者接收消息（receive.js）： 对比上述流程，你会发现为什么没有交换器 Exchange 存在的身影呢？...声明队列时，同一个队列其属性前后相同时，重复声明不会有任何影响，反之其属性前后不相同时，重复声明会抛出一个错误，这种情况要注意不得重复声明，当然如果这个队列被声明有效了也不需要再次声明。...消费者 consume 订阅接收消息时使用了另一个属性 noAck，这个属性表明消费者在接收到消息后是否需要向 RabbitMQ 服务器确认收到该消息。...RabbitMQ 服务器若没有接收到 ack 确认会一直将该消息保存，如果消费者挂了就会造成消息持续堆叠不断占用内存的情况，极端情况下资源过载会造成 RabbitMQ 服务器重启，同时未被 ack 确认的消息会被尝试重新发送给消费者
重传次数通过 tcp_syn_retries 参数控制的linux里为6。 ip存在port不存在时，不管IP是局域网内外的IP地址，是异常连接，发送端都会收到目的主机的RST包消息断开连接。...此时收到了seq+2，因为顺序错了，接收方会再次返回seq+1的ACK，收到3次(包含本次)就重发seq+1包 数据错误：数据包都会带校验和(checkSum)。...水平触发：没有把数据(元素)一次性全部读写完，那么下次调用epoll_wait()时，它还会通知你在没读写完的文件描述符上继续读写，如果你一直不去读写，会一直通知你。...HTTPS: 为什么要rsa和aes结合，对称加密具有加解密速度快，性能高的特点 ,而rsa保密性好，性能不佳，rsa加解密是很耗时的。...是个“同站Cookie”、httpOnly Cookie、验证码 sql注入：防御：预编译语句和参数化查询 OS命令注入攻击：和SQL注入差不多，只不过SQL注入是针对数据库的，而OS命令注入是针对操作系统的
但是，好景不长，很快就收到用户投诉，说在划菜客户端有些订单和菜品一直看不到，无法划菜。 我定位到了原因，公司在那段时间网络经常不稳定，业务接口时不时报超时，业务请求时不时会连不上数据库。...终于由于网络不稳定，导致用户在划菜客户端有些订单和菜品一直看不到的问题被解决了。现在商户顶多偶尔延迟看到菜品，比一直看不菜品好太多。 消息积压 随着销售团队的市场推广，我们系统的商户越来越多。...但这次有点诡异，不是所有partition上的消息都有积压，而是只有一个。 ? 刚开始，我以为是消费那个partition消息的节点出了什么问题导致的。但是经过排查，没有发现任何异常。...这次她看起来有些不耐烦，确实优化了很多次，还是出现了同样的问题。 在外行看来：为什么同一个问题一直解决不了？ 其实技术心里的苦他们是不知道的。...出现这种问题一般是由于有两个以上相同主键的sql，同时插入数据，第一个插入成功后，第二个插入的时候会报主键冲突。表的主键是唯一的，不允许重复。
理论上是能够保证消息顺序的。 1.3 出现意外 上线刚开始还是比较正常的，很快就收到投诉，客户端有些排班订单一直看不到。...2.4 表过大 为了防止后面再次出现消息积压问题，消费者后面就一直用多线程处理消息。 但有天中午我们还是收到很多报警邮件，提醒我们 Kafka 的 topic 消息有积压。...在外行看来：为什么同一个问题一直解决不了？ 其实，导致消息积压的原因其实有很多种…省略一万字。 查日志发现消费者消费一条消息的耗时长达 2 秒，以前是 500 毫秒，发生了什么？...这种问题一般是由于有两个以上相同主键的 SQL，同时插入数据，第一个插入成功后，第二个插入的时候会报主键冲突。表的主键是唯一的，不允许重复。...生产环境以 prod_开头，比如 prod_order，防止消息在不同环境中串了。 但有次运维在 pre 环境切换节点，配置 topic 的时候，错误地配成了 prod 的 topic。
为什么上游Flink程序明明开启了checkpoint，下游Kafka消费者还可以实时消费上游Sink的kafka消息，好像没有发生因为上游checkpoint而可能存在的延迟消费现象？...3PC在2PC基础上加入了一些补偿机制，例如，如果参与者没有收到协调者的消息时，他不会一直阻塞，过一段时间之后，他会自动执行事务。...：Semantic.EXACTLY_ONCE，Flink生产者将在Kafka事务中写入所有消息，该事务将在检查点上提交给Kafka。...测试时，很疑惑一个问题：上游Flink SQL Sink到Kafka某个topic，然后在console中实时消费这个topic的数据，在程序中明明设置了exactly-once，为什么console中会实时消费数据...那么查阅资料为什么会消费到上游kafka还没有commit的消息，结果是kafka也有自己的事务隔离级别。
事实上，表明单个群聊用户是否接收到了某一条群消息也只能够分条来。 便于实现查询聊天记录功能，从上面看来查询聊天记录功能似乎不可为之，都是单条记录，如何区分单人聊天消息和群组聊天消息呢？...查找资料完成代码后，14.ii方法也出现了与14.i方法相同的错误，连接服务器错误，预估为配置错误 仍不排除配置错误可能性，查找许久，有人说是新建WebSocket时路径错误，目前已初步排除此错误可能性...这条消息为群组消息，只被记录于数据库，to为群组的Id，服务端真正进行的操作是向群组的每一个用户发送一条相同的类型为1消息，而这个类型的消息仅仅用于记录用户和群组之间有这样的消息，以便于查询用户在群组里的聊天记录...目前遇到的问题是，虽然可以根据发送人的不同把消息显示在左边或者右边了，但是新的消息会替换掉上一条消息，始终只有两条消息存在。...终于找到错误了，把小括号写成大括号了，我说怎么一直错。聊天的排版已经正常了。还需要加一个接收到新消息就滚动到最下面的效果。
后端服务 这个后端服务是年初的时候有同事离职了，交到了我这里，没接手的时候不知道，没想到接手后，到处都是问题，天天各种报警，基本上隔三差五就要重启。...平时工作日的时候收到报警不是很在意，顺手重启一下就算了，但是当每次周末或者出门在外的时候，收到报警心里还是蛮荒的。...优化可以从两个方向来进行，一种是基于 SQL 本身来进行优化，另一种是可以通过缓存来解决。这里需要根据具体的业务来选择，如果不是经常变动的数据，则可以通过增加缓存来解决，刚好我这里就可以满足。...另外之前遇到消息堆积的时候，观察到消费消息的 TPS 特别低，有时候只有个位数，完全不正常，而且每次重启过后 TPS 可以达到几千的级别，并且每次堆积的时候在日志层面都有一些“断开连接” 的错误。...前端项目 之前有个内部服务，在部署服务的时候，nginx 配置了 http 和 https 两个 server，公司内部使用的时候一直都用的是 https，结果今天运营同事突然说访问不了了，通过观察发现是
这样的机制其实就是一个补偿机制，我不管MQ有没有真正的接收到，只要我的Redis中的消息状态也是为【发送中】，就表示此消息没有正确成功投递。再启动定时任务去监控，发起补偿投递。...当然定时任务那边我们还可以加上一个补偿的次数，如果大于3次，还是没有收到ack消息，那就直接把消息的状态设置为【失败】，由人工去排查到底是为什么？...不过这样的方案，就会有可能发送多次相同的消息，很有可能MQ已经收到了消息，就是ack消息回调时出现网络故障，没有让生产者收到。 那就要要求消费者一定在消费的时候保障幂等性！...在分布式应用中，幂等是非常重要的，也就是相同条件下对一个业务的操作，不管操作多少次，结果都是一样。 6.1、为什么要有幂等这种场景？ 为什么要有幂等这种场景？...这个时候一般系统会作补偿方案，也就是订单服务再此放起库存服务的调用，库存减1。 这样就出现了问题，其实上一次调用已经减了1，只是订单服务没有收到处理结果。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
