专栏首页萝卜大杂烩十年数据库流行度,哪款是你的最爱

十年数据库流行度,哪款是你的最爱

准备写一个系列,在年终岁尾之际,盘一盘大家或者是本人比较关心的一些数据。文章内容会包括数据获取的过程和数据可视化结果。今天先来看看各大数据库在过去一年的表现吧!

先来看看数据库流行度总体走势

数据获取

所有的数据都来源自网站:https://db-engines.com/,一个数据库流行趋势统计网站。

Method 1

我们先来看获取数据方法一 首先我们可以在下面地址中看到一个包含所有数据库信息的表格

https://db-engines.com/en/ranking

然后可以进入到每个数据库详情页面中,该数据库历年流行度数据都会在页面加载之后包含在 JavaScript 的变量中

https://db-engines.com/en/ranking_trend/system/Oracle

所以我们可以通过解析该 JavaScript 代码来获取每个数据库的历年数据,同时为了加快抓取速度,使用了异步请求

先抓取所有数据库名称信息,通过 pandas 的 read_html 方法可以方便的读取 html 中的 table 数据

import pandas as pd


mystr = ' Detailed vendor-provided information available'


def set_column3(column3):
    if mystr in column3:
        column3 = column3.split(mystr)[0]
    return column3


url = 'https://db-engines.com/en/ranking'
tb = pd.read_html(url)
db_tb = tb[3].drop(index=[0, 1, 2])[[0, 1, 2, 3, 4, 5, 6, 7]]

# 处理数据
db_tb[3] = db_tb[3].apply(set_column3)

# 保存数据
db_tb.to_csv('db_tb.csv')

异步抓取数据库详细信息

async def fetch(session, url):
    async with session.get(url) as response:

        return await response.text()


async def get_db_data(db_name):
    url = 'https://db-engines.com/en/ranking_trend/system/%s' % db_name

    async with aiohttp.ClientSession() as session:
        res = await fetch(session, url)
        content = BeautifulSoup(res, "html.parser")
        content.find_all("script")
        db_data = content.find_all("script")[2].string
        src_text = js2xml.parse(db_data)
        src_tree = js2xml.pretty_print(src_text)
        data_tree = BeautifulSoup(src_tree, 'html.parser')
        data_tree.find_all('number')
        data = []
        for i in data_tree.find_all('number'):
            data.append(i['value'])

        date_list = gen_time('%s-%s' % (data[0], str(int(data[1]) + 1)))
        date_value = list(zip(date_list, data[3:]))
        d_data = zip([db_name for i in range(len(date_value))], date_value)

        await save_data(d_data)


def gen_time(datestart, dateend=None):
    if dateend is None:
        dateend = time.strftime('%Y-%m', time.localtime(time.time()))
    datestart=datetime.datetime.strptime(datestart, '%Y-%m')
    dateend=datetime.datetime.strptime(dateend, '%Y-%m')
    date_list = list(OrderedDict(((datestart + timedelta(_)).strftime(r"%Y-%m"), None) for _ in range((dateend - datestart).days)).keys())
    date_list.append('2019-12')
    return date_list


if __name__ == '__main__':
    db_tb = pd.read_csv('db_tb.csv')
    db_name = db_tb['3'].values.tolist()
    loop = asyncio.get_event_loop()
    tasks = [get_db_data(name) for name in db_name]
    loop.run_until_complete(asyncio.wait(tasks))
    loop.close()

Method 2

下面再来介绍第二种方法,方法更简单,但是抓取时需要处理的地方更多些

我们可以直接访问下面的地址,同样的,在页面加载完成后,会返回所有数据库的历年数据信息

https://db-engines.com/en/ranking_trend

那么我们就可以直接解析此处的 JavaScript 信息,获取对应数据库的数据即可

不过由于有些数据库的历史数据有缺失,所以需要做特殊处理

    for i in data_tree.find_all('object'):
        date_list = gen_time('%s-%s' % (year_list[0], str(int(year_list[1]) + 1)))
        data = []
        tmp_list = []
        db_name = i.find('string')
        if i.find('null'):
            null_num = len(i.find_all('null'))
            tmp_list = list(zip(date_list[:null_num], ['0' for i in range(null_num + 1)]))
            date_list = date_list[null_num:]
        for j in i.find_all('number'):
            data.append(j['value'])

两种方法各有优缺点,小伙伴儿们可以自行选择适合自己的方式。

拿到数据之后,我们就可以做统计分析啦

数据库总榜

可以看出,关系型数据库还是当今的王者,流行度前四名都被它们所占据,而 Oracle 虽然连年表现不佳,为人诟病,但是依靠多年的积累,仍然牢牢把持着榜首的位置。

MySQL 似乎从来没有令用户失望,也是稳稳的占据二哥的位置。

而唯一挤进前五的非关系型数据库则是 MongoDB,在文档数据库领域,绝对是大哥大!

我们再通过一张散点图来感受下不同数据库之间的差距

主流数据库榜单

我这里又选取了总榜中的前五名,再加上 key-value 数据库的代表 Redis 和搜索数据库的代表 ES 来作为对比对象,先来看看它们在 2019 年的整体走势

可以看到它们在2019年总体表现还是比较平稳的,其中榜首三强都是在年末出现了不同程度的下滑,而与之对应的则是 PG 数据库的增长了。

再来看下这七大数据库今年的增长率

可以看到 MySQL 是增长率最高的数据库,而 redis 在 2019 年则表现不佳,呈现了负增长的趋势。

下面我们再把时间拉长,看看从 2012 年到现在,各大数据库的表现情况

Oracle 和 MS Server 整体来看确实呈现下降的趋势,而 MySQL 则稍稍有些增长。同时 PostgreSQL 增长比较明显,尤其是从 2017 年开始,流行度超越 MongoDB,相对应的,这个时间段也是榜首三大数据库的下滑期。

接下来再根据不同的数据库类型,来分别查看下各种类型数据库的流行趋势

关系型数据库

对于关系型数据库,榜首四强实在太强

我们去除掉这四种数据库,来看看其他关系型数据库的历年走势

可以看出,IMB 的 DB2 和微软的 Access 近年都有下滑的趋势,而作为 MySQL 的开源版 MariaDB,则呈现了很强的上升趋势,看来大家拥抱开源的信念不减呢!

key-value 数据库

再来看看 k-v 数据库,毫无疑问,近些年 Redis 风光无限,占据了大部分的市场份额。

而曾经的王者 Memcached,则因为种种原因,流行度不断下滑

可以看到,2016 年为起点,随着云计算的风起云涌,亚马逊和微软的 k-v 数据库增长迅猛,而 Memcached 则逐渐衰落,但是 Redis 凭借其良好的表现,仍然一路高歌!

文档数据库

现在进入到文档数据库时间,毫无疑问 MongoDB 的地位无可动摇

而亚马逊的 Amazon DynamoDB 数据库凭借着云服务的兴起,也成功占有一席之地

从历年流行度走势图中可以看出,MongoDB 在持续增长的路上,一骑绝尘了。而 Amazon DynamoDB 则从 2017 年开始慢慢占据市场份额,拉开与其他文档数据库的差距。

时序数据库

时序数据库也有一个霸主,那就是 InfluxDB,不过整体来说,各方势力实力均衡!

Kdb、Prometheus 和 OpenTSDB 等都在各自擅长的领域发挥着不可替代的作用。

当然啦,InfluxDB 数据库就是那颗最耀眼的星,迅猛的发展趋势,让它成功杀出重围。而 RRDtool 数据库却多少有些高开低走的味道,不知道什么时候能够看到它王者归来!

图数据库

下面我们再来看看图数据库,它在知识图谱领域是当仁不让的首选数据库类型,尤其是 Neo4j,就算你没有使用过,怎么也听说过它的大名吧!

再来看看近些年的流行度走势呢

Neo4j 和 Microsoft Azure Cosmos DB 走势迅猛,看来在知识图谱兴起的时代,图数据库也要呈现二分天下的态势了。

搜索数据库

最后我们再来看看搜索数据库的情况

没有一丝丝疑问,大火的 ES 成功占据榜首,之后就是 Splunk 和 Solr,这三位基本占据了搜索数据库的大部分市场。

从历年走势中看出,Solr 有些扎心了,随着 ES 和 Splunk 的强势崛起,Solr 似乎慢慢归于平静了。

不过无论是 ES 的耀眼光芒还是 Splunk 的新贵登基,可以预见的是在未来的很长一段时间里,搜索数据库领域仍然会是它们的三足鼎立!

最后再通过一个视频,来看看不同类型数据库的流行度变化情况

作者:周萝卜,Python 学习者。爱好爬虫、数据分析及可视化等,个人公众号《萝卜大杂烩》,期待与你相遇~

本文分享自微信公众号 - 萝卜大杂烩(luobodazahui),作者:周萝卜

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flask 入门系列教程(五)

    既然是应用程序,那么数据库就是必不可少的一部分。数据库按照一定规则保存程序数据,程序再发起查询取回所需的数据。Web 程序最常用基于关系模型的数据库,这种数据库...

    周萝卜
  • Python 面试题大全系列(四)

    关系型数据库:MySQL,Oracle,SQLServer,SQLite,DB2 非关系型数据库:MongoDB,Redis,HBase,Neo4j

    周萝卜
  • 从入门到跑路之Kubernetes(九)

    “编排“,应该是Kubernetes项目最核心的功能了,先来看一看”控制器“模型。

    周萝卜
  • 2020年6月国产数据库排行:祝初生而勃发的国产数据库儿童节快乐

    墨墨导读:在数据库的世界里,国产数据库仍然属于初生的小苗,成长的儿童,所以让我们一起祝国产数据库儿童节快乐!也让我们一起坚定的支持国产数据库的发展、成长、壮大。...

    数据和云
  • mongoDB的安装及基本使用

    mongoDB简介 1、NoSQL数据库 数据库:进行高效的、有规则的进行数据持久化存储的软件 NoSQL数据库:Not only sql,指代非关系型数据库...

    用户1332428
  • PingCAP 与腾讯云达成合作,HTAP 数据库 TiDB 现开放内测

    日前,分布式关系型数据库公司 PingCAP 宣布与腾讯云正式达成合作,联手打造全新云数据库服务—— HTAP 数据库 TiDB。目前 HTAP 数据库 TiD...

    PingCAP
  • 生信分析也能零代码发3分的SCI

    经常有小伙伴跟我抱怨,没时间没精力去学代码,太复杂了。当然也有些小伙伴确实打起精神开始学,从网上搜了一大堆R语言资料,和生物信息学资料,甚至还买了本R语言实战的...

    微点
  • 从运维角度浅谈MySQL数据库优化,中小企业DBA必会

    一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善。

    数据和云01
  • 从运维角度浅谈MySQL数据库优化,中小企业DBA必会

    一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善。

    数据和云
  • 邀您参会 | Gdevops全球敏捷运维峰会-广州站

    今年国产数据库在国际舞台上大放异彩相信大家都有目共睹,更多国产数据库加入到数据库市场的队列,对于企业来说也就有了更多的选择。根据2019 DeveloperW...

    腾讯云数据库 TencentDB

扫码关注云+社区

领取腾讯云代金券