腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

山行AI

山行AI（原开发架构二三事），后续专注于AI应用领域

专栏作者

291

文章

643430

阅读量

56

订阅数

flink on yarn的一则jar冲突问题，你遇到过没？

hadoop yarn node.js 网络安全云计算

近期准备对实时计算平台进行升级，调研阶段使用yarn client手动向yarn集群上提交flink任务时出现了一个小插曲。提交任务时，一直提示失败，来yarn的web控制台发现日志有报错信息，错误如下：

2021-08-18

1.5K0

Elasticsearch索引、搜索流程及集群选举细节整理

lucene/solr https 网络安全 Elasticsearch Service 数据库

最近在做搜索推荐相关的优化，在对elasticsearch进行优化时查阅了比较多的资料，现在对其中的一部分进行整理和翻译，做一个记录。主要分为三个部分：

2021-08-18

1.6K0

es中的analyzer，tokenizer，filter你真的了解吗？

Elasticsearch Service https 网络安全 html analyzer

最近在做搜索推荐相关的需求，有一个场景中需要某一列能处理多种分词器的分词匹配，比如我输入汉字或拼音或语义相近的词都需要把匹配结果返回回来。经过一番调研，最终我们选择了elasticsearch来处理数据的索引与搜索，在配置分词器时会发现大多分词器配置中都需要配置analyzer、tokenizer、filter，那么这三个东西分别代表着什么，又有什么样的联系呢？这就是本文要重点讨论的事情。关于如何在elasticsearch中使用分词器[1]以及常用的中文分词器[2]和拼音分词器[3]是什么，该怎么样去配置这些问题不是本文要讨论的重点，链接都已经奉上，需要的自取。本文咱们就来聚焦讨论一下analyzer、tokenizer、filter之间的区别与联系。

2021-07-23

5.8K0

Flink RocksDB State Backend：when and how

网络安全 https flink 大数据 html

流处理应用程序通常是有状态的，“记住”已处理事件的信息，并使用它来影响进一步的事件处理。在Flink中，记忆的信息（即状态）被本地存储在配置的状态后端中。为了防止发生故障时丢失数据，状态后端会定期将其内容快照保存到预先配置的持久性存储中。该RocksDB[1]状态后端（即RocksDBStateBackend）是Flink中的三个内置状态后端之一。这篇博客文章将指导您了解使用RocksDB管理应用程序状态的好处，解释何时以及如何使用它，以及清除一些常见的误解。话虽如此，这不是一篇说明RocksDB如何深入工作或如何进行高级故障排除和性能调整的博客文章；如果您需要任何有关这些主题的帮助，可以联系Flink用户邮件列表[2]。

2021-04-16

2.8K0

flink分析之Task的生命周期

flink https 大数据网络安全 html

之前有想过系统地来一番flink源码分析系列，谁曾想工作中需要完成的需求有些多，完整的flink源码分析系列只能一再往后拖了。之前公众号后台有想学习flink的朋友留言想看更多学习flink的资料，现在先发一些之前收藏的关于flink相关的文章，其中大多翻译自flink社区，希望能给大家带来一些帮助。本文[1]主要围绕flink任务的生命周期展开。

2021-04-16

1.5K0

flink线程模型源码分析1之前篇将StreamTask中的线程模型更改为基于Mailbox的方法

https flink 网络安全大数据 processing

本文中关于将StreamTask中的线程模型更改为基于Mailbox的方法主要译自如下两处：

2021-03-11

2.7K0

flink中如何自定义Source和Sink？

flink 大数据 https 网络安全 java

动态表(Dynamic tables)是Flink的Table＆SQL API的核心概念，用于以统一方式处理有界和无界数据。

2021-02-19

4.7K0

flink on yarn 模式下提示yarn资源不足问题分析

yarn node.js hadoop https 网络安全

在实时计算平台上通过YarnClient向yarn上提交flink任务时一直卡在那里，并在client端一直输出如下日志：

2020-12-14

7.3K0

flink jobmanager与taskmanager内存配置源码分析

https 网络安全 html flink 大数据

先来看一下官网上对flink内存设置的介绍。Flink JVM 进程的进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。其中堆外内存包括直接内存（Direct Memory）和本地内存（Native Memory）。

2020-12-14

2.4K0

javacc功能一览

java https 网络安全 unicode ide

1.编译原理中常见的解析器LL和LR的对比;2.javacc的特征；3.如何在java ide中进行javacc的开发；4.通过演示一个javacc计算器的例子让你对javacc有更多了解（只是一个简单地演示，不涉及过多的语法说明）。

2020-11-10

1.8K0

从头分析一则traceId穿透问题(附解决方案)

https 网络安全 github git 开源

现在常用的开源组件有google的Dapper,Twitter的zipkin和Apache SkyWalking等，商用的比较有代表性的是阿里的Eagleeye(鹰眼)。它们的工作模式不外乎是客户端在同一个trace的不同span上采点上传到server端然后server端进行存储后以web界面的形式将整个链路以traceId和spanId进行关联起来就形成了整个调用链路。用于串起整个链路的id主要分为traceId和spanId。

2020-09-24

5.5K3

antlr4入门篇

unicode java 编程算法 https 网络安全

ANTLR实际上有两件事：一种将您的语法转换为Java（或其他目标语言）的解析器/词法分析器的工具，以及生成的解析器/词法分析器所需的运行时。即使您使用ANTLR Intellij插件或ANTLRWorks来运行ANTLR工具，生成的代码仍将需要运行时库。

2020-08-18

4K0

mysql索引结构与深分页优化

数据库 sql https 网络安全云数据库 SQL Server

B-树,这里的 B 表示 balance( 平衡的意思)，B-树是一种多路自平衡的搜索树。它类似普通的平衡二叉树，不同的一点是B-树允许每个节点有更多的子节点。

2020-03-26

1.5K0

Elasticsearch源码分析七之集群选举流程分析

网络安全 node.js

org.elasticsearch.node.Node#start方法中有ZenDiscovery初始化的部分：

2020-03-12

1.1K0

Elasticsearch源码分析四之JNA与swap浅析

bootstrap https windows es 网络安全

来看一段org.elasticsearch.bootstrap.Bootstrap#setup中的代码：

2020-03-11

1.4K0

Elasticsearch源码分析六之AllocationDeciders

node.js tcp/ip https 网络安全 Elasticsearch Service

上面的图为类继承关系图的一部分，下面针对具体的配置进行分析。本文及本系列源码都是针对es的7.5.1版本。Shard Allocation，Shard Move，Shard Rebalance会利用这些Decider，再决定是否进行分片分配，分片迁移，分片均衡等操作。

2020-03-10

1.4K0

一种网站的https证书配置的方法

SSL 证书 https http nginx 网络安全

打开https://www.sslforfree.com/ ，这是一个可以免费申请ssl证书的网站，网站截图如下：

2020-02-26

9760

新年福利大放送-基于kotlin+springboot+vue+shiro后台管理项目开源啦

github git https 网络安全 kotlin

一直想做一个小巧灵活，有着细粒度的权限管理，适用于大部分公司后台管理需求的脚手架。后来看到了 vue-router 对于路由上的灵活性，想到了 shiro 结合 vue-router 来处理权限的问题是比较合适的。shiro 默认是基于 session，而对于一款灵活的后台管理系统来说，需要的自然是无状态的 token 的模式。

2020-02-18

1.5K0

dubbo中使用hystrix遇到ThreadLocal变量的上下文传递时问题分析

java dubbo 编程算法 https 网络安全

在实际运行时，大多数情况下会出现 consumer 端放入的 traceId 和国际化变量在 provider 端取不到的情况。而且具体分析时发现，consumer 端放入 MDC 的环境变量在 consumer 端的 filter 中从 MDC 去取时都会有取不到的情况。将 HystrixFilter,MDCFilter 的顺序调换成 MDCFilter,HystrixFilter 后在 consumer 端的 filter 中去 MDC 中是能取到正确的值的，但是在 provider 端是取不到的。

2020-01-02

3.1K0

shiro改造jwtToken模式中的坎坷二三事

bash bash 指令编程算法网络安全

org.apache.shiro.web.servlet.AbstractShiroFilter#doFilterInternal:

2019-12-02

2.3K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态