腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

一个会写诗的程序员的博客

专栏作者

1222

文章

2324396

阅读量

95

订阅数

Flink 1.12 内存和提交参数

jvm flink 大数据

那么如果设置了 -yjm 1024 ，JobManager的JVM的堆内存大小是多少呢？

一个会写诗的程序员

2022-01-04

2.8K0

Hadoop Shell 命令详解

hadoop node.js shell 大数据 http

调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。

一个会写诗的程序员

2022-01-04

3440

Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams

大数据 flink api 数据处理 sql

Apache Flink 是一个分布式流计算引擎，用于在无边界和有边界数据流上进行有状态的计算。

一个会写诗的程序员

2022-01-04

1.7K0

Spark 极简教程

spark mapreduce hadoop 大数据 flink

何谓计算引擎，一言以蔽之，就是专门处理数据的程序，在大数据之前，人们用数据库来处理数据，人们常说的SQL，它是一种DSL，它的背后正是数据库的计算引擎，但是数据库的计算和存储通常被集成在一起，统称为数据库引擎。

一个会写诗的程序员

2021-12-16

5260

什么是 Spark RDD ?

spark 缓存大数据

RDD 是一个弹性的分布式的数据集，是 Spark 中最基础的抽象。它表示了一个可以并行操作的、不可变得、被分区了的元素集合。用户不需要关心底层复杂的抽象处理，直接使用方便的算子处理和计算就可以了。

一个会写诗的程序员

2021-12-16

5480

DMP 数据管理平台极简教程 ( Data Management Platform )

自动化大数据

A data management platform (DMP) is a unifying platform to collect, organize and activate first-, second- and third-party audience data from any source, including online, offline, mobile, and beyond. It is the backbone of data-driven marketing and allows businesses to gain unique insights into their customers.

一个会写诗的程序员

2021-12-16

2.2K0

统一数据服务架构

api 大数据数据库 sql 微服务

平台用户分为两类角色：其一是数据服务生产方，其二是数据服务调用方。数据服务生产方只需要配置，做到“配置即开发”，配置包括：1）数据源；2）数据加速到何处；3）接口形态，访问方式；4）配置独立的测试环境，访问隔离的测试数据。当配置完毕后，数据服务平台便会根据配置清单，完成接口的自动化生产和部署。生产和部署完毕后，调用方在平台申请服务权限调用。通过自动化生产，达到配置即开发的目的，从而极大的提升效率。

一个会写诗的程序员

2021-12-16

1.6K0

Hadoop HDFS 实现原理图文详解

unix node.js 大数据文件存储 vr 视频解决方案

Hadoop分布式文件系统 (HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。

一个会写诗的程序员

2021-12-16

6560

DBMS 数据库管理系统的三级模式架构《ClickHouse 实战：企业级大数据分析引擎》

全文检索数据库管理 TDSQL MySQL 版大数据数据分析

当今世界是一个充满着数据的互联网世界，充斥着大量的数据。即这个互联网世界就是数据世界。数据的来源有很多，比如出行记录、消费记录、浏览的网页、发送的消息等等。除了文本类型的数据，图像、音乐、声音都是数据。

一个会写诗的程序员

2021-12-16

8020

跨境3.0时代正合奇胜法则：动态需求理论

大数据电商

1.0，流量时代。关键词就那么几个，不断获取更多平台或者获取某个平台更多的流量是绝大多数人的玩法。那个时候大家所做的事情就是打造爆款，给消费者更多的认知而不是品牌。但这个时代早就过去了。

一个会写诗的程序员

2020-10-26

3190

Spring Boot中使用 Swagger2 自动构建API文档

api spring 分布式 java 大数据

https://github.com/swagger-api/swagger-ui

一个会写诗的程序员

2020-07-22

7850

【Java 并发编程】ForkJoin 框架使用代码实例

分布式大数据 spring java kotlin

专注分享 Java、 Kotlin、Spring/Spring Boot、MySQL、redis、neo4j、NoSQL、Android、JavaScript、React、Node、函数式编程、编程思想、"高可用，高性能，高实时"大型分布式系统架构设计主题。

一个会写诗的程序员

2020-06-04

3900

mysql 获取分组中最新记录SQL写法示例 select group by order by

分布式 kotlin java spring 大数据

and it is producing the correct results however they are not in the correct order.

一个会写诗的程序员

2020-05-18

2.6K0

AI智能代码提示： Get AI Code Completions for your IDE

分布式大数据 kotlin https spring

AI智能代码提示神器： Codota https://www.codota.com/

一个会写诗的程序员

2020-05-18

8620

大数据智能洞察、知识图谱、数据可视化技术

数据分析大数据知识图谱

面向垂直行业，结合专家知识、多源异构的碎片化知识和组织智能，引领从大数据分析到大知识工程进而大智慧系统的研发和落地应用。构建行业知识图谱，实现智能推理与知识服务，推进多机多人多任务的人机协同，开发新一代知识工程的技术体系和系统平台，服务搜索、推荐、规划、对话机器人等领域的情景感知和人机协同。

一个会写诗的程序员

2020-02-13

2.1K0

【企业数字化转型】DIKW：数据、信息、知识、智慧的金字塔层次模型

大数据物联网 https 网络安全企业

随着人类社会从工业经济时代进入知识经济时代，知识管理的出现为21世纪知识经济时代的企业组织提供必须的管理基础。以彼得.德鲁克博士（Peter F. Drucker）和斯威比博士为代表提出的理论为知识管理领域的开拓和发展作出了杰出贡献。

一个会写诗的程序员

2020-02-11

2.1K0

【推荐系统算法实战】Flink 架构及其工作原理

分布式系统需要解决：分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。

一个会写诗的程序员

2019-12-30

1.6K0

数据库中的 “行式存储”和“列式存储”

存储 oracle 大数据数据库

传统的关系型数据库，如 Oracle、DB2、MySQL、SQL SERVER 等采用行式存储法(Row-based)，在基于行式存储的数据库中，数据是按照行数据为基础逻辑存储单元进行存储的，一行中的数据在存储介质中以连续存储形式存在。

一个会写诗的程序员

2019-10-28

10.9K0

一种用于决策（decision-making）的系统架构

云镜（主机安全）大数据网络安全数据分析神经网络

20世纪80年代末90年代初，决策支持系统开始与专家系统（Expert System, ES）相结合，形成智能决策支持系统（ Intelligent Decision Support System, IDSS）。智能决策支持系统充分发挥了专家系统以知识推理形式解决定性分析问题的特点，又发挥了决策支持系统以模型计算为核心的解决定量分析问题的特点，充分做到了定性分析和定量分析的有机结合，使得解决问题的能力和范围得到了一个大的发展。智能决策支持系统是决策支持系统发展的一个新阶段。20世纪90年代中期出现了数据仓库（Data Warehouse, DW）、联机分析处理（On-Line Analysis Processing, OLAP）和数据挖掘（Data Mining, DM）新技术，DW+OLAP+DM逐渐形成新决策支持系统的概念，为此，将智能决策支持系统称为传统决策支持系统。新决策支持系统的特点是从数据中获取辅助决策信息和知识，完全不同于传统决策支持系统用模型和知识辅助决策。传统决策支持系统和新决策支持系统是两种不同的辅助决策方式，两者不能相互代替，更应该是互相结合。把数据仓库、联机分析处理、数据挖掘、模型库、数据库、知识库结合起来形成的决策支持系统，即将传统决策支持系统和新决策支持系统结合起来的决策支持系统是更高级形式的决策支持系统，成为综合决策支持系统（Synthetic Decision Support System, SDSS）。综合决策支持系统发挥了传统决策支持系统和新决策支持系统的辅助决策优势，实现更有效的辅助决策。综合决策支持系统是今后的发展方向。

一个会写诗的程序员

2019-10-09

1.6K0

2020：我们处在一个什么样的技术浪潮当中？

微服务大数据 nosql 运维

在软件架构领域，经历了从单体应用到 SOA 再到微服务；在云计算领域，经历了从虚拟机到容器；在数据库领域，从关系数据库到 NoSQL 再到 NewSQL；在大数据领域，从批处理到流处理；在运维领域，从手工运维到 DevOps、AIOps；在前端领域，从 jQuery 到 React 等三大框架； …… 除此之外，还有一些新兴的领域如 AI、区块链等等，开启了一波又一波的风口。

一个会写诗的程序员

2019-08-20

8520

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态