神秘的寇先森

LV0
发表了文章

Flink内存管理

自从2003-2006年,Google发表了三篇著名的大数据相关论文(Google FS,MapReduce,Big Table)后,内存问题一直困扰大数据工程...

神秘的寇先森
发表了文章

Flink窗口触发器

窗口的触发器定义了窗口是何时被触发并同时决定触发行为(对窗口进行清理或者计算)。触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAs...

神秘的寇先森
发表了文章

maven项目公用项目配置文件如何配置

共享资源插件可以用于在多模块构建中的模块之间共享资源。在以下示例中,我们有一组文件,我们想在项目的几个模块中复用这些资源。

神秘的寇先森
发表了文章

Python的参数

在定义函数时,可以为形参提供默认值。对于有默认值的形参,调用函数时如果为该参数传值,则使用传入的值,否则使用默认值。

神秘的寇先森
发表了文章

Python函数中的*、*args、**kwargs

当函数需要的参数数量不确定的时候,可以使用args 和 kwargs , 所有的位置参数保存在args中,以元组的形式保存,调用时直接用args,不需要带 *...

神秘的寇先森
发表了文章

python工程结构

在一个健康的开发周期中,代码风格,API设计和自动化是非常关键的。同样的,对于工程的架构 ,仓库的结构也是关键的一部分。 当一个潜在的用户和贡献者登录到您的仓...

神秘的寇先森
Python编程算法面向对象编程
发表了文章

setup.py文件是什么

在安装python的相关模块和库时,我们一般使用“pip install 模块名”或者“python setup.py install”,前者是在线安装,会安...

神秘的寇先森
Python打包GitHubGit
发表了文章

python命名规则

将相关的类和顶级函数放在同一个模块里. 不像Java, 没必要限制一个类一个模块.

神秘的寇先森
编程算法
发表了文章

python虚拟环境

由于 virtualenvwrapper 是 virtualenv 的一组扩展,所以如果要使用 virtualenvwrapper,就必须先安装 virtual...

神秘的寇先森
Python
发表了文章

python常用命令总结

想要对现有的 python 进行升级,其本质上也是先从 pypi 上下载最新版本的包,再对其进行安装。所以升级也是使用 pip install,只不过要加一个参...

神秘的寇先森
Pythonhttps网络安全
发表了文章

2020年Flag-阅读jdk源码

2020年新年Flag的第一条就是阅读完jdk重要类的源码,当然踩在巨人的肩膀上能看得更远,所以参考了网友的经验先陈列一下,首先看一下有必要阅读的源码范围: ...

神秘的寇先森
JDK
发表了文章

理解Flink watermark

所谓事件时间,就是Flink DataStream中的数据元素自身带有的、其实际发生时记录的时间戳,具有业务含义,并与系统时间独立。很显然,由于外部系统产生的数...

神秘的寇先森
Unix大数据编程算法
发表了文章

程序员如何更有效得学习

对于程序员,我们对自己以及自己从事的工作,应该给一个准确清晰的定位,至少你要清楚,你是一个程序员,在你拿着高薪工作的时候,你要为这份工作付出很多,包括时间、经历...

神秘的寇先森
PythonJavaHadoop
发表了文章

Flink使用中遇到的问题

数据处理和 barrier 处理都由主线程处理,如果主线程处理太慢(比如使用 RocksDBBackend,state 操作慢导致整体处理慢),导致 barri...

神秘的寇先森
大数据
发表了文章

极客时间kafka专栏评论区笔记

Consumer Group :Kafka提供的可扩展且具有容错性的消息者机制。 1、重要特征: A:组内可以有多个消费者实例(Consumer Instanc...

神秘的寇先森
Kafka缓存Linux
发表了文章

理解Flink checkpoint

Checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的...

神秘的寇先森
大数据数据处理
发表了文章

Flink on Yarn两种模式启动参数及在Yarn上的恢复

注意:系统和运行脚本在启动时解析配置.对配置文件的更改需要重新启动Flink JobManager和TaskManagers

神秘的寇先森
容器YarnHadoop面向对象编程Node.js
发表了文章

Flink on YARN 基础架构与启动流程

本文转载Flink官方社区文章:一张图轻松掌握 Flink on YARN 基础架构与启动流程

神秘的寇先森
YarnNode.js大数据
发表了文章

Flink架构

Flink整体由JobManager和TaskManager组成,遵循主从设计原则,JobManager为Master节点,TaskManager为worker...

神秘的寇先森
YarnNode.js大数据
发表了文章

技术书单

《编码:隐匿在计算机软硬件背后的语言》 :零基础入门 《穿越计算机的迷雾》:零基础,但是读起来没有《编码》流畅 《程序是怎么跑起来的》 :除了第6章是讲压缩...

神秘的寇先森
Python数据结构编程算法Hadoop

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券