腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

xingoo, 一个梦想做发明家的程序员

专栏作者

805

文章

897212

阅读量

80

订阅数

Flink源码剖析：Jar包任务提交流程

flink 大数据 jar linux 打包

Flink基于用户程序生成JobGraph，提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3)

2021-01-20

2.2K0

Flink基础：时间和水印

flink 大数据 windows unix 编程算法

本篇终于到了Flink的核心内容：时间与水印。最初接触这个概念是在Spark Structured Streaming中，一直无法理解水印的作用。直到使用了一段时间Flink之后，对实时流处理有了一定的理解，才想清楚其中的缘由。接下来就来介绍下Flink中的时间和水印，以及基于时间特性支持的窗口处理。

2020-11-24

9180

Flink基础：实时处理管道与ETL

flink 大数据

Flink的经典使用场景是ETL，即Extract抽取、Transform转换、Load加载，可以从一个或多个数据源读取数据，经过处理转换后，存储到另一个地方，本篇将会介绍如何使用DataStream API来实现这种应用。注意Flink Table和SQL api 会很适合来做ETL，但是不妨碍从底层的DataStream API来了解其中的细节。

2020-11-13

1.4K0

《大画汽车：图解汽车奥秘》—— 读书笔记

汽车腾讯云测试服务腾讯专有云 PaaS 平台

本书是看过最浅显易懂的汽车书了，从汽车发展的历史，讲到发动机、变速箱等重要组件，从汽车行驶到安全，最后介绍了汽车的设计与制造流程，整体对汽车的认识更近了一步。

2020-10-26

6610

Flink深入浅出: 资源管理(v1.11)

flink 大数据数据结构

Flink在资源管理上可以分为两层：集群资源和自身资源。集群资源支持主流的资源管理系统，如yarn、mesos、k8s等，也支持独立启动的standalone集群。自身资源涉及到每个子task的资源使用，由Flink自身维护。

2020-10-26

1K0

Flink深入浅出: 应用部署与原理图解(v1.11)

数据结构 flink 大数据打包 yarn

Flink在1.11版本新增了一种部署模式，目前支持三种：Session 模式、Per job 模式、Application 模式，这三种模式主要在集群管理、资源隔离、用户main方法执行位置几个方面有所不同。

2020-10-26

1.1K0

Kubeflow实战: 入门介绍与部署实践

机器学习神经网络人工智能 kubernetes

Kubeflow是在k8s平台之上针对机器学习的开发、训练、优化、部署、管理的工具集合，内部集成的方式融合机器学习中的很多领域的开源项目，比如Jupyter、tfserving、Katib、Fairing、Argo等。可以针对机器学习的不同阶段：数据预处理、模型训练、模型预测、服务管理等进行管理。只要安装了k8s，可以在本地、机房、云环境中部署。

2020-08-11

3.5K0

Spark 3.0 新特性之自适应查询与分区动态裁剪

Spark憋了一年半的大招后，发布了3.0版本，新特性主要与Spark SQL和Python相关。这也恰恰说明了大数据方向的两大核心：BI与AI。下面是本次发布的主要特性，包括性能、API、生态升级、数据源、SQL兼容、监控和调试等方面的升级。

2020-07-27

1.3K0

基于TensorFlow的深度学习系列教程 2——常量Constant

spark tensorflow 编程算法

在tensorflow中，数据分为几种类型: 常量Constant、变量Variable、占位符Placeholder。其中：

2019-07-02

6860

深度学习Tensorflow生产环境部署（上·环境准备篇）

容器镜像服务

TensorFlow Serving是google提供的一种生产环境部署方案，一般来说在做算法训练后，都会导出一个模型，在应用中直接使用。

2019-01-07

1.6K0

深度学习Tensorflow生产环境部署（下·模型部署篇）

容器镜像服务

部署完docker后，如果是cpu环境，可以直接拉取tensorflow/serving，如果是GPU环境则麻烦点，具体参考前一篇，这里就不再赘述了。

2019-01-07

1.7K0

Crontab和sudo中无法使用TensorFlow ImportError libcublas.so.9.0

最近因为特殊的原因重新安装了python，但是引发了一个很严重的问题——TensorFlow不好使了。

2019-01-03

1.5K0

基于TensorFlow的深度学习系列教程 1——Hello World!

深度学习 tensorflow

自从12年AlexNet获得ImageNet大赛的冠军后，深度学习开始流行起来，也因为硬件的快速发展GPU并行计算配合易用的API，让深度学习以及神经网络大放光彩。

2018-12-28

8760

《数据挖掘与数据化运营实战思路、方法、技巧与应用》—— 读书笔记

数字营销运维

第一章什么是数据化运营

2018-12-25

4900

《增长黑客》—— 读后总结

之前读到四分之三的时候，手机丢了，无奈放弃微信读书就没继续读；后来换了手机，终于把这本书给续上了。

2018-12-13

4630

在Java Web中使用Spark MLlib训练的模型

模型下载到本地，重新命名为xml。可以看到默认四个特征分别叫做feild_0，field_1...目标为target

2018-12-13

1.4K0

《百面机器学习》—— 读后总结

2018-12-04

9450

《影响力》—— 读后总结

这本书在很久以前就想读了，一直到今天才读完，最大的感触就是：平时生活中容易陷入的陷阱在这里都做了科学的解释和论证。尤其是在买东西的时候，可以多一些谨慎，多买一些更有价值的东西，不能被别人的销售技巧给套住。粗略总结互惠：别人在想要你帮忙或者想要你买东西的时候，往往会先给一些优惠。套用那句俗语“那人家的手短，吃人家的最短”，最后碍于情面，只能乖乖顺从。比如买保险，总会在节假日给你送点礼物；请你帮忙时，会提前给买点小东西。承诺和一致：因为前后不一致会让别人觉得是一个思维混乱、缺乏信仰的人，因此大部分人

2018-11-07

6500

《Opencv 3 计算机视觉 python语言实现》· 第二遍 —— 读后笔记

opencv python http git

https://github.com/xinghalo/ml-in-action/tree/master/book-opencv

2018-10-22

4790

程序猿的日常——工作中常用的Shell脚本

如果目录下的文件很多，无法直接rm -rf，那么可以寻找一些匹配模型，分批删除。比如文件下面有很多的文件：

2018-10-12

5430

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态