大数据架构师成长之路-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据架构师成长之路

专栏成员

19

文章

24642

阅读量

17

订阅数

首席数据官（CDO）的价值

尽管数据和分析功能的重要性日益凸显，但大多数首席数据官(CDO)未能对其数据和分析功能所创造的业务成果进行评估和定价。因此，许多CDO的表现落后于预期且任期较短也就不足为奇了。作者对CDO进行了17次深度访谈，他们在很大程度上被认为处于该角色的前沿。根据采访，他们总结了CDO可以在哪些方面创造价值以及如何衡量和定价。除了创造和展示价值的策略之外，它们还提供了对数据分析领导者目前采用的定性和定量测量的见解。

快乐的技术人

2023-12-18

2080

架构师成长之路系列（二）

云数据库 SQL Server postgresql html 分布式 sql

行存，可以看做 NSM (N-ary Storage Model) 组织形式，一直伴随着关系型数据库，对于 OLTP 场景友好，例如 innodb[1] 的 B+ 树聚簇索引，每个 Page 中包含若干排序好的行，可以很好的支持 tuple-at-a-time 式的点查以及更新等；而列存 (Column-oriented Storage)，经历了早期的 DSM (Decomposition Storage Model) [2]，以及后来提出的 PAX (Partition Attributes Cross) 尝试混合 NSM 和 DSM，在 C-Store 论文 [3] 后逐渐被人熟知，用于 OLAP，分析型不同于交易场景，存储 IO 往往是瓶颈，而列存可以只读取需要的列，跳过无用数据，避免 IO 放大，同质数据存储更紧凑，编码压缩友好，这些优势可以减少 IO，进而提高性能。

快乐的技术人

2020-09-29

8820

架构师成长之路系列（一）

Architect，即架构一词可以溯源到希腊语ἀρχιτέκτων , 指的是建筑的规划，设计和建造过程和结果。现在也用于指系统的网络，软件，硬件的规划，设计和搭建过程。所以架构师就是从事架构设计的人。

快乐的技术人

2020-09-18

5380

实时数据计算框架演进介绍

serverless 实时数仓云计算大数据

数仓建设是公司数据发展到一定规模后必然会提供的一种基础服务，其中数仓建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。

快乐的技术人

2020-08-04

1.9K0

windows下搭建spark测试环境

spark python hadoop java javascript

在windows 环境中搭建简单的基于hadoop 的spark 环境，进行本地化测试。

快乐的技术人

2020-07-31

2.1K0

数据架构师成长思考总结

智慧物流数字营销解决方案云计算强化学习架构设计

Structured：建立中心（问题、目标）。以中心的核心要素对中心进行分解，形成分类子结构。以一定的范式、流程顺序进行分类子结构的合理分类、减少非关键分类结构；对关键分类子结构进行分析，寻找对策，制订行动计划。

快乐的技术人

2020-07-08

6850

数据赋能--数据驱动力介绍

数据分析数据挖掘

互联网流量红利的消退，倒逼互联网公司告别野蛮扩张迎来精益运营时代，通过“数据驱动”挖掘更深层次的用户价值成了互联网人的一致共识，“数据驱动力”在精益运营时代的重要性日益突显。

快乐的技术人

2020-07-07

2.3K0

风控数据体系-简介

数据挖掘数据库数据安全大数据数据处理

早期传统金融的风控主要利用了信用属性强大的金融数据，一般采用20个维度左右的数据，利用评分来识别客户的还款能力和还款意愿。信用相关程度强的数据维度大概在十个左右，包含年龄、职业、收入、学历、工作单位、借贷情况、房产，汽车、单位、还贷记录等；而互联网金融公司在利用大数据进行风控的同时，会根据需求利用多维度数据来识别借款人风险，维度包括不限于：社交类数据、消费类数据、行为类数据、多源银行账户数据等。

快乐的技术人

2020-06-29

3.9K0

领域建模-总结

架构设计存储腾讯云测试服务系统架构 es

随着业务的变化、系统设计也要演进升级。好的架构设计一定演化来的，不是一开始就设计出来的，但系统演进过程中的成本，一定是最开始的设计决定的。一个健康公司的成长，业务横向、纵向会发展的会越来越复杂，支持业务的系统也一定会越来越复杂。在领域驱动设计中，域模型对应的是业务模型，是系统架构的内核，通过域模型来驱动与外界的交互。

快乐的技术人

2020-06-22

1K0

元数据解读

数据库数据安全 sql 数据分析

“元数据是关于数据的数据”。从数据、信息、知识和智慧人类认知领域的层次结构来讲，数据是通过工具或机器搜集的原始资料。确切地说，数据是原始、未经处理的资料或潜在信息。信息就是经过某种处理并供人使用的数据。知识指的是你知道的事情，也就是经过内化的信息，而智慧则是指了解如何运用知识。元数据是对潜在信息的信息，是关于数据的更高层次抽象，是对数据的描述。

快乐的技术人

2020-06-10

1.2K0

大数据平台架构设计思路

大数据数据库 sql serverless

在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。

快乐的技术人

2020-06-02

2.4K0

hive优化总结

hive linux 文件存储 mapreduce sql

hive强大之处不要求数据转换成特定的格式，而是利用hadoop本身InputFormat API来从不同的数据源读取数据，同样地使用OutputFormat API将数据写成不同的格式。所以对于不同的数据源，或者写出不同的格式就需要不同的对应的InputFormat和OutputFormat类的实现。以stored as textFile为例，其在底层java API中表现是输入InputFormat格式：TextInputFormat以及输出OutputFormat格式：HiveIgnoreKeyTextOutputFormat。这里InputFormat中定义了如何对数据源文本进行读取划分，以及如何将切片分割成记录存入表中。而OutputFormat定义了如何将这些切片写回到文件里或者直接在控制台输出。

快乐的技术人

2020-05-27

1.6K0

工业4.0时代，打造核心技能！

日本著名的知识管理专家野中郁次郎、竹内弘高在他们的著作《创造知识的企业》提出知识转换包括四种方式：

快乐的技术人

2020-05-12

3510

编程算法网站 python https

能够执行的操作,+ - * / %(取余) //(整除) **(次方)

快乐的技术人

2020-05-02

7280

技术管理-30条军规

1、组建12人左右的最小战斗单元。有时候人多并没有用，比如一个孕妇怀胎10月生下一个宝宝，你不可能找来10个孕妇怀胎一个月，就能生下来吧。

快乐的技术人

2020-04-30

6450

中台建设中的幕后意义

大数据解决方案云服务器企业数据安全腾讯云开发者社区

中台战略主要都是指通过「小前台，大中台」的架构方式，降低试错成本，加快响应速度，从而真正做到「降本增效」。

快乐的技术人

2020-04-29

7820

进化型组织和数字化转型升级的思考

其实都不是，而是COVID-19冠状病毒。正是这次冠状病毒使得所有的企业都不得不线上化，冠状病毒推动了中国企业快速的数字化转型！我相信再过几年，大家回顾这次疫情的特殊意义，一定会提到正是疫情加速了中国企业的数字化转型。

快乐的技术人

2020-04-17

8030

OKR-闭环模式

是不是总有这样的一些情况，管理者和下属像是两条永远不会相交的平行线，“你说的是你说的，我说的是我说的”、“三个月过去了，季末一整合发现各个部门的着力点不一致，无法形成合力”。仿若交付物执行下去就各不相同了，那么到底交付的是什么？

快乐的技术人

2020-04-16

9820

大数据架构师知识图谱

spark 机器学习神经网络深度学习人工智能

一、大数据计算组件 Spark Flink Hive DataSphere 二、分布式存储 HDFS Hbase Doris 三、资源调度 Yarn Dolphin 四、数据仓库常用工具 Pig Hive kylin Spark SQL Impala Phoenix ElasticSearch Logstash Datax 五、消息队列 Kafka RocketMQ ZeroMQ ActiveMQ RabbitMQ 六、流式计算 Spark Streaming(准实时) Flink（实时）七、日志收集

快乐的技术人

2020-04-14

1.7K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态