腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Java进阶之路

专栏作者

68

文章

135104

阅读量

26

订阅数

JAVA日志框架适配/冲突解决方案

javascript 日志服务网站 spring dubbo

上面的这些问题，基本都是由于多套日志框架共存或配置错误导致的。那么为什么会出现共存或者冲突呢？一般是以下几种原因：

神秘的寇先森

2021-04-13

1.3K0

高性能的Java日志框架log4j2

javascript api python 编程算法日志服务

Apache Log4j2 和 Logback 对比有很大的改进。除了内部设计的调整外，主要有以下几点的大升级：

神秘的寇先森

2021-04-13

9990

Flink内存管理

jvm flink 大数据 spark 编程算法

自从2003-2006年，Google发表了三篇著名的大数据相关论文（Google FS，MapReduce，Big Table）后，内存问题一直困扰大数据工程师们。

神秘的寇先森

2020-03-20

7300

Flink窗口触发器

窗口的触发器定义了窗口是何时被触发并同时决定触发行为（对窗口进行清理或者计算）。触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。注意：窗口的触发在内部是设置定时器来实现的。

神秘的寇先森

2020-03-20

2.2K0

maven项目公用项目配置文件如何配置

共享资源插件可以用于在多模块构建中的模块之间共享资源。在以下示例中，我们有一组文件，我们想在项目的几个模块中复用这些资源。

神秘的寇先森

2020-03-20

2K0

Python的参数

在定义函数时，可以为形参提供默认值。对于有默认值的形参，调用函数时如果为该参数传值，则使用传入的值，否则使用默认值。

神秘的寇先森

2020-02-19

6110

Python函数中的*、*args、**kwargs

当函数需要的参数数量不确定的时候，可以使用args 和 kwargs ，所有的位置参数保存在args中，以元组的形式保存，调用时直接用args,不需要带 * 所有的关键参数保存在kwargs中，以字典的形式保存，调用时也直接使用kwargs

神秘的寇先森

2020-02-19

9270

python工程结构

python 编程算法面向对象编程

在一个健康的开发周期中，代码风格，API设计和自动化是非常关键的。同样的，对于工程的架构 ,仓库的结构也是关键的一部分。当一个潜在的用户和贡献者登录到您的仓库页面时，他们会看到这些:

神秘的寇先森

2020-02-19

8570

setup.py文件是什么

python 打包 github git

在安装python的相关模块和库时，我们一般使用“pip install 模块名”或者“python setup.py install”，前者是在线安装，会安装该包的相关依赖包；后者是下载源码包然后在本地安装，不会安装该包的相关依赖包。所以在安装普通的python包时，利用pip工具相当简单。但是在如下场景下，使用python setup.py install会更适合需求：

神秘的寇先森

2020-02-19

3.4K0

python命名规则

将相关的类和顶级函数放在同一个模块里. 不像Java, 没必要限制一个类一个模块.

神秘的寇先森

2020-02-19

1.2K0

python虚拟环境

由于 virtualenvwrapper 是 virtualenv 的一组扩展，所以如果要使用 virtualenvwrapper，就必须先安装 virtualenv。

神秘的寇先森

2020-02-19

1.2K0

python常用命令总结

python https 网络安全

想要对现有的 python 进行升级，其本质上也是先从 pypi 上下载最新版本的包，再对其进行安装。所以升级也是使用 pip install，只不过要加一个参数 --upgrade。

神秘的寇先森

2020-02-19

9260

2020年Flag-阅读jdk源码

2020年新年Flag的第一条就是阅读完jdk重要类的源码，当然踩在巨人的肩膀上能看得更远，所以参考了网友的经验先陈列一下，首先看一下有必要阅读的源码范围：标题为包名，后面序号为优先级1-4，优先级递减

神秘的寇先森

2020-02-19

2770

理解Flink watermark

unix 大数据编程算法

所谓事件时间，就是Flink DataStream中的数据元素自身带有的、其实际发生时记录的时间戳，具有业务含义，并与系统时间独立。很显然，由于外部系统产生的数据往往不能及时、按序到达Flink系统，所以事件时间比处理时间有更强的不可预测性。

神秘的寇先森

2020-02-19

1.2K0

程序员如何更有效得学习

python java hadoop

对于程序员，我们对自己以及自己从事的工作，应该给一个准确清晰的定位，至少你要清楚，你是一个程序员，在你拿着高薪工作的时候，你要为这份工作付出很多，包括时间、经历和金钱，最主要的是，你需要不断学习，不断更新自己的技术栈。定位，意味着，你要认识到当前自己的优势和不足，并制定好未来的规划和技能需求，你要确定你是去大公司镀金还是去小公司独当一面，然后沿着这个方向不断学习和武装自己。

神秘的寇先森

2020-02-19

8350

Flink使用中遇到的问题

数据处理和 barrier 处理都由主线程处理，如果主线程处理太慢（比如使用 RocksDBBackend，state 操作慢导致整体处理慢），导致 barrier 处理的慢，也会影响整体 Checkpoint 的进度，在这一步我们需要能够查看某个 PID 对应 hotmethod，这里推荐两个方法： 1、多次连续 jstack，查看一直处于 RUNNABLE 状态的线程有哪些； 2、使用工具 AsyncProfile dump 一份火焰图，查看占用 CPU 最多的栈；

神秘的寇先森

2020-02-19

1.7K1

极客时间kafka专栏评论区笔记

kafka 缓存 linux

Consumer Group ：Kafka提供的可扩展且具有容错性的消息者机制。 1、重要特征： A：组内可以有多个消费者实例（Consumer Instance）。 B：消费者组的唯一标识被称为Group ID，组内的消费者共享这个公共的ID。 C：消费者组订阅主题，主题的每个分区只能被组内的一个消费者消费 D：消费者组机制，同时实现了消息队列模型和发布/订阅模型。 2、重要问题： A：消费组中的实例与分区的关系：消费者组中的实例个数，最好与订阅主题的分区数相同，否则多出的实例只会被闲置。一个分区只能被一个消费者实例订阅。 B：消费者组的位移管理方式：（1）对于Consumer Group而言，位移是一组KV对，Key是分区，V对应Consumer消费该分区的最新位移。（2）Kafka的老版本消费者组的位移保存在Zookeeper中，好处是Kafka减少了Kafka Broker端状态保存开销。但ZK是一个分布式的协调框架，不适合进行频繁的写更新，这种大吞吐量的写操作极大的拖慢了Zookeeper集群的性能。（3）Kafka的新版本采用了将位移保存在Kafka内部主题的方法。 C：消费者组的重平衡：（1）重平衡：本质上是一种协议，规定了消费者组下的每个消费者如何达成一致，来分配订阅topic下的每个分区。（2）触发条件： a，组成员数发生变更 b，订阅主题数发生变更 c，定阅主题分区数发生变更（3）影响： Rebalance 的设计是要求所有consumer实例共同参与，全部重新分配所有用分区。并且Rebalance的过程比较缓慢，这个过程消息消费会中止。

神秘的寇先森

2020-02-19

9901

理解Flink checkpoint

大数据数据处理

Checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Chandy-Lamport algorithm”算法 (分布式快照算法)。参考：checkpoint

神秘的寇先森

2020-02-19

1.4K0

Flink on Yarn两种模式启动参数及在Yarn上的恢复

容器 yarn hadoop 面向对象编程 node.js

注意:系统和运行脚本在启动时解析配置.对配置文件的更改需要重新启动Flink JobManager和TaskManagers

神秘的寇先森

2020-02-19

7.7K0

Flink on YARN 基础架构与启动流程

yarn node.js 大数据

本文转载Flink官方社区文章：一张图轻松掌握 Flink on YARN 基础架构与启动流程

神秘的寇先森

2020-02-19

2.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态