2018 进入了最后一个月度,数据库流行度排行也随之出炉了月度排行,下一个值得期待的将是 2018 年度数据库花落谁家。
随着云时代的到来,数据库也开始拥抱云数据库时代,各类数据库系统(OLTP、OLAP、NoSQL等)在各内外云平台(AWS、Azure、阿里云)百花齐放,有开源的MySQL、PostgreSQL、MongoDB,传统数据库厂商的SQLServer、Oracle,云厂商自研的Aurora、Redshift、PolarDB、AnalyticDB、AzureSQL等。有些数据库还处于Cloud Hosting阶段,仅仅是将原有架构迁移到云主机上,利用了云的资源。有些数据库则已经进入了Cloud Native阶段,基于云平台IAAS层的基础设施,构建弹性、serverless、数据共享等能力。
紧张精彩的2015年已经结束了,现在是时候回过头来看一看数据分析软件市场的潮流。 已经有几个趋势继续变得壮大(比如开源,云托管,基于Hadoop的SQL解决方案),同时AWS上的Redshift开始成为数据仓库中的一支重要力量。 SQL解决方案继续在Hadoop的生态系统里大行其道 除了Spark,大部分Hadoop的生态系统里的新闻都来自Presto, Impala and Drill。 关于MapReduce继任者的斗争还在持续,而在列表中的所有候选者的一个主要的共同点就是他们都提供SQL界面。这个趋势
最近随着Snowflake上市后市值的暴增(目前700亿美金左右),整个市场对原生云数仓都关注起来。近日,一家第三方叫GigaOM的公司对主流的几个云数仓进行了性能的对比,包括Actian Avalanche、Amazon Redshift、Microsoft Azure Synapse、Google BigQuery、Snowflake,基本涵盖了目前市场上主流的云数仓服务。
在这一过程中,作为数字化底座的云,已经不仅仅局限于基础设施角色,更是企业持续创新和精益运营的关键支撑。
我们用过很多数据仓库。当我们的客户问我们,对于他们成长中的公司来说,最好的数据仓库是什么时,我们会根据他们的具体需求来考虑答案。通常,他们需要几乎实时的数据,价格低廉,不需要维护数据仓库基础设施。在这种情况下,我们建议他们使用现代的数据仓库,如Redshift, BigQuery,或Snowflake。
数据是创立Asana的核心部分,并且每一个团队都依赖他们自己的方式。我们的负责增长的团队依靠事件数据来分析试验结果(对比试验)。我们做很多快速的实验–通常会有很多实验一起跑–让这些互相影响的作用和其他关键度量引导我们需要放弃什么和投入什么。 项目经理,设计师和产品工程师通过分析使用数据来发现不可避免的妥协,比如简洁性对强大性。通过这种方法,我们可以知道什么样的新产品方向能够释放出最多的潜力。 市场部门需要明确在他们的竞争力中的哪个部分能够驱使新用户到Asana。财会部门需要非常可靠的关于总体增长模式的统
以数据洞察力为导向的企业 每年增长 30% 以上。数据有助于公司排除决策错误。团队可以利用数据结果来决定构建哪些产品、增加哪些特性以及追求哪些增长。
K Young, Mortar Data首席执行官和共同创始人,为我们分享了他们如何使用Mortar和Redshift实现大数据集成。 Mortar是一个稳健的可以无缝连接最好的数据技术的平台,使得初
Oracle于2022年3月29日,在Oracle的云上发布了MySQL HeatWave 机器学习(ML)。Oracle MySQL HeatWave除了用于事务处理和分析之外,现在还支持数据库内机器学习 (ML)。MySQL HeatWave ML对 ML 的生命周期完全自动化,并将所有经过训练的模型存储在 MySQL 数据库中,用户无需将数据或模型移动到机器学习工具或服务中。消除 ETL ,可降低应用程序复杂性、降低成本并提高数据和模型的安全性。
数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。
ConvertKit 是一家全功能电子邮件服务提供商 (ESP),是发展最快的电子邮件营销公司之一。但作为一家自力更生的私营企业,没有外部资金的支持,云成本控制对 ConvertKit 来讲非常重要。 近日,ConvertKit 详细列出了 2021 年在 AWS 上的花费,回顾了自己到底花掉了多少钱,并思考哪里还能进一步优化。“过去这一年我们也犯了不少错,但好在这些问题都可以修正。”ConvertKit 基础架构工程师 Kris Hamoud 表示。
这是《未来简史》中提出的三个革命性观点。一本书短短百页,让我们看到了世界颠覆性的变化,从计算机,到互联网,再到大数据、人工智能,所有的变化都在以一种肉眼可观却又无法捕捉的状态悄然发生着,而推动变化发生的背后,则是数据价值的提升。
前两天在刷朋友圈,看到一个视频号链接,说有个云数仓,比ClickHouse 还快3倍。我就点进去看了,原来是 SelectDB 公司的“为数而生,因云而新” SelectDB 产品发布会。这个发布会上 SelectDB 发布了云数仓产品 SelectDB Cloud。
作为近期火爆的话题之一,snowflake的上市无疑吸引了很多人的眼球。那在其高涨的市值背后,又有着什么样的原因?它会一直火爆下去吗?云计算、大数据,这些似乎已经有些落伍的概念,为何又重新吸引了人们的眼球?本文综合了多篇资料,尝试从更多角度加以解读。
过去十五年,是云计算从无到有突飞猛进的十五年。PaaS作为云计算的重要组成部分,在伴随着云计算高速发展的同时,在云计算产业链中的关键性作用日渐凸显。关于PaaS,很多人都认同一个观点,在公有云上,除了IaaS和SaaS,其余的都是PaaS。但PaaS到底是什么?它从哪里来,将到哪里去?PaaS有哪些细分领域?哪些厂商是PaaS市场领导者?PaaS和现在流行的容器管理平台、企业中台和低代码平台之间的关系又是什么?这些问题的答案,向来是众说纷纭、莫衷一是。要回答这些问题,且听笔者为您娓娓道来。
古老的大数据技术孕育了云计算,从云计算中衍生出了SaaS、PaaS等云服务,而云服务又让大数据技术在新时代获得了新生。
在今年的Oracle Cloud World,Oracle宣布将发布一款数据库湖仓产品——MySQL HeatWave Lakehouse用以解决存储在数据库之外的文件数据等非结构化数据的查询和处理。
顶级云计算数据仓库展示了近年来云计算数据仓库市场发展的特性,因为很多企业更多地采用云计算,并减少了自己的物理数据中心足迹。
假如云计算提供商把精力集中在最底层,而其他(纯软件)提供商专注于上面的一层,又会如何呢?
使用 GitHub Actions 构建有效的 CI/CD 管道以测试您的 Apache Airflow DAG 并将其部署到 Amazon MWAA
每天约有 800 万独立访问者访问 Leboncoin,到 2022 年,该网站每月有超过 1000 亿次 HTTP 调用并且启动和运行 700 个应用程序,使其成为访问量最大的法国网站之一。
在这篇博文中,我们介绍了 Spark-Lineage,这是一种内部产品,用于跟踪和可视化 Yelp 的数据是如何在我们的服务之间处理、存储和传输的。
ClickHouse是一款开源的分布式列式存储数据库管理系统,广泛用于大型数据分析和数据仓库场景。作为一种列式存储数据库,ClickHouse采用了一些高效的数据结构来实现主键索引,并通过一系列优化技术来提升查询性能。本文将介绍ClickHouse主键索引的存储结构以及一些查询性能优化方法。
今年以来,微软股价持续上涨连创新高,云计算业务功不可没。尽管微软云计算业务依旧落后于亚马逊AWS,但收入已超过谷歌,两家公司市值规模均高达8000亿美元。随着最新财报的发布,微软股价似乎又要迎来新一波涨势。在云计算领域,微软与亚马逊开始了实打实的战略抗衡。
近日,Hadoop 领域发生几件不太美好的事情,先是 MapR 宣布如果无法获得新的投资,就必须要裁员百余人,并关闭硅谷总部,再是 Cloudera 股价暴跌 43%,估值缩水。
0 写公众号一年来多来,思维上现在和开始写公众号的时候比,有两个比较大的变化。 第一个变化是对职场个人的行为的分析,放到组织架构这个层面看,才能够看明白更多的道理。人毕竟是群体的动物,脱离了组织没有意义。 第二个变化是技术的分析,结合企业的经营模式来看,才能够看得更清楚。任何企业都是需要赚钱的,这必然会影响到技术本身。 今天我们谈的是Redshift。亚马逊的这款数据仓库云产品可谓非常的成功,同时也是非常的坑人。要理解这里面的坑,不能只看技术。 1 一年前就有人和我说Redshift是个大坑,收费贼贵。
在炎热的七月,DB-Engines 发布了 2018 下半年第一个排行榜,在这个榜单上,前三位领导者产品的积分都出现了大幅下跌,创出了各产品的新低。
Airbnb是Hadoop在国内的一个公开资源数据开发和SQL查询工具。它的出现,能给Facebook Presto云技术的发展注入一剂强心剂吗? 7个你不知道的关于Linux的事实 数据驱动型旅游公司Airbnb于周四对外宣布,将把其内部开发的工具Airpal作为公开资源,这一举措将给Facebook开发的Presto在Hadoop SQL查询功能锦上添花。 Presto是Facebook于2013年末作为公开资源赠给Apache的一项内存Hadoop SQL查询技术。Airpal则是基于这项技术的数据
随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的 Join 操作,降低性能。如果在数据清洗导入过程中就能流式的完成 Join,那么分析时就无需再次 Join,从而提升查询性能。
最近出差进行到下半场,特别繁忙,写稿有点懈怠。今天就聊一个事情吧。云头条这个号今天发了翻译自CNBC的文章:亚马逊使用 Aurora 替换 Oracle:导致 Prime Day 促销日瘫痪。我和云头条也稍微聊了一下这个话题。
http://spark.apache.org 是一个围绕速度,易用和复杂分析的开源的大数据处理框架。Spark日益流行,它支持批处理和流式处理,图形数据,机器学习,以及Hadoop和map/reduce。这是一个探索实时事件处理的理想平台。
电商——少数能在商业实践中,直接能够依靠数据理解显著提升业绩的领域。电商对于数据的运用和理解都需不凡造诣,而能为百余家电商提供不同来源数据可视化BI分析工具的公司更加不凡,这就是我们今天要介绍的Looker。 Looker由Netscape(即美国著名的网景浏览器开发商)早期员工及LiveOps(美国著名云联络中心软件供应商)前CTO Lloyd Tabb创立于2012年,总部位于加州圣克鲁兹。关注经济学和工程的交界领域,协助客户利用数据取得成功。传统上BI一般通过SQL语音进行查询,要求用户具备工程及编程
本文探讨了基于Apache Spark和EVAM构建实时流式解决方案的体系结构。该解决方案包括实时事件处理,事件识别组合,非事件窗口,客户档案数据优先级重叠,以及在不同场景下的实时仪表板和监视。通过将Spark和EVAM结合使用,可以构建有效的实时事件处理系统,减少客户流失,降低客户支持,并提高交叉销售和收入。
Club Factory由中国公司嘉云数据于2016年创建,是一家时尚、美容和生活方式的电子商务商店,总部位于浙江杭州。其产品有三个特点:非品牌、时尚和低价。为此,Club Factory整合了上百万供应商,无需提前备货。在Club Factory诞生前,嘉云数据的主打产品为爆款易,这是一个SaaS数据智能平台,帮助供应商根据工厂和库存数据做出决策。
大数据实时分析领域的黑马是ClickHouse一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。
函数定义 1.类似Java定义方法 2.可以带参数 3.必须有返回值(一行一列) ,重点:java方法可以没有返回值,数据库函数必须要有返回值 select max(score) from sc; 4.函数可以嵌套到sql语句中 注:存储过程则不可以 5.函数可嵌套调用
兴致勃勃的在网络上看了亚马逊AWS年度大会re:Invent2022。我每年有空就会看,虽然从来没去LasVegas现场参观。
在 Halodoc,我们始终致力于为最终用户简化医疗保健服务,随着公司的发展,我们不断构建和提供新功能。我们两年前建立的可能无法支持我们今天管理的数据量,以解决我们决定改进数据平台架构的问题。在我们之前的博客中,我们谈到了现有平台的挑战以及为什么我们需要采用 Lake House 架构来支持业务和利益相关者以轻松访问数据。在这篇博客中,我们将讨论我们的新架构、涉及的组件和不同的策略,以拥有一个可扩展的数据平台。
DB-Engines最近发布了2020年10月份的数据库排名。该网站根据数据库管理系统的受欢迎程度对其进行排名,实时统计了359种数据库的排名指数。前10名的排行情况详见下图:
这是有趣的地方。非常清楚的是S / 4HANA具有出色的分析功能,其中许多功能在S / 4HANA Fiori UX屏幕中启用。客户情况说明书,财务供应链管理和许多其他分析功能已嵌入S / 4HANA用户体验中。
此前 Oracle 已经发布了 Autonomous Data Warehouse 服务(ADW),现在 Autonomous Transaction Processing 服务发布 (ATP),这两者都是依托 Oracle Cloud提供的。当然,在中国即将开放的数据中心里,这两项功能也无法使用到。
提到Cloudera我们第一个想到的就是Hadoop,在Hadoop生态系统中,规模最大、知名度最高的公司就是Cloudera。
SAP HANA系列到这里也就基本结束了。这一章的内容是我和几个朋友聊天以后决定新加的。这两年的database的领域变化很快,快到一个公司刚正确一把站稳了位置,天又变了。 中国有句古话,30年河东30年河西,这句话用到IT行业来说不太合适,应该改成3年河东,3年河西差不多。中国还有一句话,螳螂捕蝉黄雀在后。在HANA瞄准了ORACLE的核心地带狠狠的来一票,ORACLE频繁出招的时候,在Google和某人吵得不得开交的时候,谁也没想到,有那么一个公司,就这样的起来了。 关于这个公司我们有很多的称呼,微软的
2021 年初,在 InfoQ 全年技术趋势展望中,数据湖与数据仓库的融合,成为大数据领域的趋势重点。直至年末,关于二者的讨论依然热烈,行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控;行业内的主要共识点则是二者结合必能降低大数据分析的成本,提高易用性。
我(Lewis Gavin)目前的工作角色是用 Amazon Redshift 来设计数据仓库。以我的经验,无论我们采用的是 Oracle 来搭建数仓,还是以 Hadoop 来搭建 Data Lack(数据湖),基础型的概念还是没有变。
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。在传统的行式数据库系统中,处于同一行中的数据总是被物理的存储在一起。常见的行式数据库系统有:mysql,postgres,ms sqlserver;在列式数据库系统中,来自不同列的值被单独存储,来自同一列的数据被存储在一起。常见的列式数据库有: Vertica、 Paraccel (Actian Matrix,Amazon Redshift)、 Sybase IQ、 Exasol、 Infobright、 InfiniDB、 MonetDB (VectorWise, Actian Vector)、 LucidDB、 SAP HANA、 Google Dremel、 Google PowerDrill、 Druid、 kdb+。
微软于近期解决了一个积极利用的Windows LSA零日漏洞,未经身份验证的攻击者可以远程利用该漏洞来强制域控制器通过Windows NT LAN Manager (NTLM)安全协议对其进行身份验证。LSA(Local Security Authority的缩写)是一个受保护的Windows子系统,它强制执行本地安全策略并验证用户的本地和远程登录。该漏洞编号为CVE-2022-26925,是由Bertelsmann Printing Group的Raphael John报告的,据调查,该漏洞在野已被利用,似乎是PetitPotam NTLM中继攻击的新载体。
作者 | ThoughtWorks 编辑 | Tina 技术雷达是 ThoughtWorks 每半年发布一次的技术趋势报告,它持续追踪有趣的技术是如何发展的,我们将其称之为条目。技术雷达使用象限和环对其进行分类,不同象限代表不同种类的技术,而环则代表我们对其作出的成熟度评估。 经过半年的追踪与沉淀,ThoughtWorks TAB(ThoughtWorks 技术咨询委员会)根据我们在多个行业中的实践案例,为技术者产出了第 24 期技术雷达。对百余个技术条目进行分析,阐述它们目前的成熟度,并提供了相应的技术选
自 DataGrip 2023.3 发布以来,已整合 Lets-Plot 库,实现数据可视化。该可视化功能可用于所有三种类型的网格:
领取专属 10元无门槛券
手把手带您无忧上云