腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据和云计算技术

专栏作者

298

文章

437040

阅读量

101

订阅数

我认知的 DevOps 核心价值

devops 数据分析

记得刚读大学的时候，热门的专业叫软件工程，这个专业用国外的教程，学费比一般的专业还要贵很多，大概是 1.5 倍以上，因此搞软件从来都是很复杂甚至感觉高大上的一个事情。后面去读《人月神话》，说实话就记住了一句话，软件开发没有银弹，再次印证软件不好搞。（题外话是，这本书其实对大学在读或者刚从事开发的同学其实门槛有点高的，过于抽象。只有在亲身参与过一些比较大的项目之后才会越来越体会。）这么多年走来，经历了 CMM 模型，敏捷开发，devops，参与过几千人一起开发的项目，也搞过几个人的小项目，各种角色也都搞

大数据和云计算技术

2022-03-03

5170

数据思索和应用：数据分析的方法二

这里记录着小编对于数据的一些思考和反思，希望对大家有所帮助，也希望各位大佬出来指点一二，探讨如何在数据领域更好的应用。

大数据和云计算技术

2021-09-15

2960

数据思索与应用：数据分析的方法

这里记录着小编对于数据的一些思考和反想，希望对大家有所帮助，也希望各位大佬出来指点一二，探讨如何在数据领域更好的应用。

大数据和云计算技术

2020-10-22

4350

政务大数据的概念模型

大数据数据分析

政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面三篇分别深入阐述：政务大数据点本质：《浅谈政务大数据的本质》政务大数据的全景图：《政务大数据的全景图》政务大数据的上下文范围：《政务大数据的上下文范围》反响非常好，本篇接上一篇讲讲政务大数据的概念模型。希望大家会喜欢！后续还有一系列文章；敬请期待。本文是漫谈政务大数据系列文章序（《政务大数据的本质》）之外的第三

大数据和云计算技术

2018-03-08

1.6K0

运营商大数据业务举例

大数据数据分析

3.1 运营商常见的大数据业务第1章介绍了运营商拥有的数据资产，运营商拥有从底层的设备和网络数据到上层的用户行为数据。有了这些数据，运营商大数据便可以衍生出众多业务，主要有SQM（运维质量管理）、CSE（客户体验提升）、MSS（市场运维支撑）、DMP（数据管理平台）。 3.1.1 SQM（运维质量管理）一个电话或者用户一个上网行为的成功发生，对于整个运营商背后的网络来说，经过了很多种类、很多台设备才能一起完成。传统的监控和告警设备只能单点地监控整个流程中的某一处是否出现问题，这样就和业务脱钩了。以

大数据和云计算技术

2018-03-08

1.2K0

chat bot（聊天机器人）解密

数据分析人工智能

最近百度组织架构调整一则消息，值得关注：度秘升级为事业部，由原微软小冰创造者之一的景鲲担任总经理，直接向CEO陆奇汇报。事实上，2017 年度秘已经占据了不少新闻版面。比如在 2017 CES 上，由度秘研发的 DuerOS 正式亮相，这是一个基于语音交互的新一代人工智能操作系统，同时还联合小鱼在家一起推出了个人助理机器人，该产品也被 CNN 评为 2017 CES 上 14 项最酷产品之一。此次升级度秘事业部，也彰显出度秘、DuerOS在百度整个人工智能布局里的重要地位。一、度秘是什么？度秘（英文名

大数据和云计算技术

2018-03-08

1.8K0

“虚拟个人助理” 一览

昨天谈到苹果的Siri进入了mac os最新版本除了Siri之外，个人助理产品被认为是用户交互关键入口，因此众多大公司参与进来争夺，今天来分别介绍一下典型的几个：苹果的Siri Siri成立于20

大数据和云计算技术

2018-03-08

1.9K0

交互式分析技术

数据分析机器学习数据挖掘

机器学习和数据挖掘是个非常难的领域，所以在这个领域有数据科学家这么一个职位。“数据科学家”在2009年由Natahn Yau首次提出，其概念是采用科学方法、运用数据挖掘工具寻找新的数据洞察的工程师。数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家（不同于统计学家或分析师)。一个优秀的数据科学家需要具备的素质有：懂数据采集、懂数学算法、懂数学软件、懂数据分析、懂预测分析、懂市场应用、懂决策分析等。传统典

大数据和云计算技术

2018-03-08

1.5K0

Automatic Management of Data and Computation in Datacenters

大数据数据分析自动化

image.png 最近在研究数据中心的数据管理和性能优化，看了一篇2010的论文Nectar:Automatic Management of Data and Computation in Datacenters，还是有一定的启发的，简要介绍给大家，详细的建议大家download论文下来看下。 Nectar核心思路有两个： 1、大部分数据计算存储之后是无效的，根据论文中研究统计结果，有50%的文件在过去的250天之内完全未必访问过，所以这50%的存储是完全被浪费掉了，因此只计算和存储真正有用的数据就可以降

大数据和云计算技术

2018-03-08

8150

Flink Introduction

大数据数据分析

Hadoop开源社区新技术层出不穷，大家可能对Map/Reduce(YARN)/Spark很熟悉，最近又新增了一个Flink，也是大有来头。 Apache Flink是一个高效、分布式、基于Java实现的通用大数据分析引擎，它具有分布式MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案，它支持批量和基于流的数据分析，且提供了基于Java和Scala的API。从Apache官方博客中得知，Flink已于近日升级成为Apache基金会的顶级项目。　从Flink官网得知，其具有如下主要

大数据和云计算技术

2018-03-08

7880

大数据应用--实时路况数据

大数据数据分析

现在手机上装个导航软件，如高德地图，百度地图等等都有实时路况显示，导航和道路规划可以根据实时路况来实施，从而动态躲避拥堵，为出行节省时间，为了显示实时路况就必须有路况数据，今天来说下实时数据的获取方法。一般来说有以下几种典型数据来源获取方法： 1、实时路况数据最主要的收集方式，还是浮动车。这个浮动车包括出租车、长途客车、物流车辆等等，其中主力就是在城市市区里活动的出租车。在这些车辆上安装的GPS终端，通过手机通讯网络将当时的经纬度位置、车头方向、速度等值传递到处理中心，进而计算出全市主要道路的道路通行情况。

大数据和云计算技术

2018-03-08

1.7K0

腾讯实时分析平台Hermes介绍

大数据数据分析

腾讯大数据最近做了几件事，上线了一个官方网站http://data.qq.com/，将TDW(腾讯大数据库仓库）开源了，封闭的企鹅难得开放了一回。大数据网站上有一些资料，我看到一个叫Hermes爱马仕的系统挺有意思的，今天介绍下。关于实时分析系统我前面写个几篇文章分析，包括《实时分析系统(HIVE/HBASE/IMPALA)浅析》《MPP DB 是大数据实时分析系统未来的选择吗？》《一套数据，多种引擎（impala/Hive/kylin）》《一套数据，多种引擎续---两种数据格式（Parquet/OR

大数据和云计算技术

2018-03-08

5.6K0

MPP DB 是大数据实时分析系统未来的选择吗？

大数据数据分析

大数据领域，实时分析系统（在线查询）是最常见的一种场景，前面写了一个《实时分析系统(HIVE/HBASE/IMPALA)浅析》讨论业界当前常见的方案。互联网公司用得比较多是HIVE/HBASE，如腾讯基于HIVE深度定制改造，改名为TDW，小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。当前在实时分析系统中，最难的是多维度复杂查询，目前没有一个很好的解决方案，这两天和人讨论到MPP DB（分布式数据库，以Greenplum为最典型代表）。如果从性能来讲，MPP

大数据和云计算技术

2018-03-08

1.3K0

大数据分析处理平台的调度应该具备什么能力？

大数据数据分析数据处理

‍‍‍‍本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用，达到一个什么样的能力。谈调度之前，先说说大数据分析处理平台的定义‍‍：集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统，它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈现等特点。一‍‍般来说，大数据分析处理平台有以下几个显著特点： ‍‍1、规模大，集群化。百度，腾讯，阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。 ‍‍2、复杂度高，多个子系统

大数据和云计算技术

2018-03-08

1.4K0

Big data analytics beyond hadoop

大数据数据分析 hadoop

今天给大家推荐一本书《big data analytics beyond hadoop》。书的名字应该可以翻译为《hadoop下一代数据分析技术》。这本书主要讲的是BDAS(Berkeley Dat

大数据和云计算技术

2018-03-08

7620

实时分析系统（Hive/Hbase/Impala）浅析

hive hbase 数据分析

1. 什么是实时分析（在线查询）系统？大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通常有以下特点： a. 时延低（秒级别）。 b. 查询条件复杂（多个维度，维度不固定），有简单（带有ID)。 c. 查询范围大（通常查询表记录在几十亿级别）。 d. 返回结果数小（几十条甚至几千条）。 e. 并发数要求高（几百上千同时并发）。 f. 支持SQL（这个业界基本上达成共识了，原因是很难找到一个又会数据分析，还能写JAVA代码的分析

大数据和云计算技术

2018-03-07

3.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态