https://ossinsight.io 发布了一份有趣的关于开源数据库的分析报告。从4,572,765,143个GitHub事件中统计分析了开源数据库的许多深刻见解,例如数据库流行度、数据库贡献者、编码活力、社区反馈等。
之前我写了文章简单的讲了一下最近非常热闹的由Databricks发起的和Snowflake的撕逼文章们:
你的公司比你还想用好你产生的数据,尤其是当你在全球有着超过18万名同事的时候。这个数字大致是华为在全球的员工数量。
从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。刚刚过去的 2021 年双 11,就有超过 8 亿消费者参与。
先秦时期,儒家、法家、道家、墨家等诸子百家,百花齐放百家争鸣,创造了灿烂的文化艺术,奠定了以后中国文化发展的基础,决定了其发展方向。在数据库领域内,以 Oracle、MySQL、SqlServer 为首的关系型数据库占据中国市场,在 db-engines 排行榜永据前三地位。
在分布式系统中,经常需要对大量的数据、消息、http请求等进行唯一标识,例如链路追踪traceId、身份标识号、订单流水号、操作记录流水号、优惠券id等等。
近日,天阳信用卡新一代核心产品CreditX完成了与腾讯云分布式数据库TDSQL的适配性测试,并基于双深度融合,推出“金融零售核心CreditX+分布式数据库TDSQL”的新一代分布式信用卡核心产品联合解决方案。 这标志着信用卡核心系统应用将迎来安全可控的分布式、数字化转型升级加速期。 技术上,CreditX采用“分布式+微服务+云部署”技术架构。在关系型数据库部分,使用标准SQL语法与标准数据建模方法,经过本次与腾讯云分布式数据库TDSQL全面适配性测试,证实在数据库功能性、连通性,应用适配性等各方面完
本文原题“阿里数据库十年变迁,那些你不知道的二三事”,来自阿里巴巴官方技术公号的分享。
笔记软件领域可能是软件行业最为内卷的赛道。如果你问一个重度笔记用户,他便能脱口而出几十个笔记软件。即便对笔记软件不怎么关心的普通用户,也能知道 5 个左右的笔记软件。
本文源自于知乎的提问与回答,相信大家也有自己去思考或者实践“造”几个轮子。毕竟不管是学习人家造好的轮子还是自己造轮子,都是对自身开发设计能力的一种提升。本文的回答者从公司的实际项目出发,大致列举了我们可以研究的“轮子”,并给出设计建议。
GreatSQL 成立于 2021 年,由万里数据库发起,是开放原子开源基金会旗下捐赠项目,及 Gitee 最有价值项目,拥有信通院可信开源社区+可信开源项目双认证。社区致力于通过开放的社区合作,构建自主开源数据库版本及开源数据库技术,推动开源数据库及应用生态繁荣发展。 为了帮助社区的小伙伴们更好地了解 GreatSQL 社区的实时进展,我们决定每月更新发布一次 GreatSQL 社区月报。月报的主要内容包括:整理展示最近一个月的社区大事动态,最近一个月内为项目提交过 Commit 的贡献者,并对近期重要的 PR 进行解析;同时还包含了社区上一个月发布的原创技术博客整理分类。 如果大家还希望未来在社区月报中增添哪些内容,也欢迎到“社区论坛→建议反馈”版块中发帖提出:https://greatsql.cn/forum-39-1.html
转录组分析是目前应用最广的高通量测序分析技术之一。常见设计是不同样品之间比较,寻找差异基因、标志基因、协同变化基因、差异剪接和新转录本,并进行结果可视化、功能注释和网络分析等。
分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。
MrDoc 是州的先生基于 Python 的 Django 框架开发并开源的在线文档系统。
原文:http://www.enmotech.com/web/detail/1/758/1.html
15年毕业到现在也近3年了,最近面试了阿里集团(菜鸟网络,蚂蚁金服)、网易、滴滴、点我达,最终收到点我达和网易offer,蚂蚁金服二面挂掉,菜鸟网络一个月了还在流程中...最终有幸去了网易。
12月16日,在2023开放原子开发者大会上,腾讯云将企业级分布式数据库TDSQL的社区发行版 OpenTenBase 正式捐赠给开放原子基金会,通过开源共创的方式,与上下游产业链以及开发者共同打造繁荣数据库技术生态。
数据 3 分钟 由 ACDU (中国 DBA 联盟) 与墨天轮联合出品的全新视频节目上线啦~三分钟带你来了解数据行业动态,节目内容主要包含数据行业最新的产品发布、公司大事件、行业新闻等。 本期内容概览: MariaDB将借壳上市,估值已达6.72亿美元; SphereEx-Console 可视化数据管控平台正式发布; Elastic 8.0 正式发布; 数仓“香馍馍” Snowflake 受青睐,DataOps.live 获1030万美元融资; 前融云 CTO 杨攀加入涛思数据,任战略合作 & 开发者生态副
李阳良,一面数据大数据部门负责人,九年互联网工作经验,对后台开发、大数据技术接触比较多。
摘自:微头条,阿尔法工场欧阳长征推荐 导读:如果银行是一家海鲜酒楼,把IBM换掉相当于大搞一次装修,把Oracle换掉相当于把厨子和菜谱全部换掉,把EMC换掉相当于把放食材工具的储物间换个地方。难度在
墨墨导读:本文是近期ScaleGrid发布的2019 PG趋势报告,从不同的角度解读了PostgreSQL如何在众多优秀的RDBMS中脱颖而出,原文:https://scalegrid.io/blog/2019-postgresql-trends-report-private-vs-public-cloud-migrations-database-combinations-top-reasons-used/(可复制在浏览器打开或点击“阅读原文”)。
记者发现,前程无忧51Job.com(Nasdaq:JOBS)用户信息在暗网上被公开销售,黑客甚至展示了部分样本数据,包括邮箱、密码、真实姓名、身份证号码、电话等。 前程无忧方面向记者证实,部分用户账户密码被撞库,但否认该公司数据被拖库。 撞库是黑客通过收集互联网已泄露的用户和密码信息,生成对应的字典表,尝试批量登陆其他网站,得到一系列可以登录账号信息的行为。拖库原本是指从数据库中导出数据,在黑客圈,拖库也被用来指网站遭到入侵后,黑客窃取其数据库。 目前,有关人员通过泄露的前程无忧用户信息对网站进行登录测试,部分成功。 据贩卖用户信息的人声称,其手中共有195万条数据可被销售,打包价为12个比特币。(目前1个比特币价格超过4万元人民币,12个比特币总价约50万元人民币。) 黑客圈人士对记者分析,暂时无法确认是因为数据库泄露造成,还是撞库导致的,“怀疑有人从其他地方挑选了一些数据,伪装成51job被拖库,拿其数据售卖。” 6月15日,前程无忧方面回复记者称,该公司从当天早间就已经对暗网上放出的数据做进一步验证,对这些用户登录情况做了进一步的分析汇总,从公布出82条数据中发现,“有65条在我们的碰撞库中,其余17条数据无法正常登录。” 前程无忧方面表示,经过安全团队校验,释放出来的样本数据,绝大部分来自于一些邮箱泄露的账户密码,且都是在2013年之前注册,所以很可能是这些邮箱的用户名和秘密被非法获得,“恶意用户通过这些已泄露的邮箱账户及密码,对我们站点进行登录匹配。然后蓄意倒卖,并非51job被拖库。2013年不少互联网邮箱的密码还是明码,且数年前确实发生过一些邮箱的信息泄露。” 前程无忧不愿意公开具体涉及的是哪家邮箱服务商。 资料显示,2015年,网易163/126电子邮箱过亿数据泄漏,网易方面称,“这是由于部分用户在其他网站使用了和网易邮箱相同的账号密码,其他网站的账号信息泄露,被不法分子利用,侥幸尝试登陆网易邮箱造成。” 前程无忧方面表示,“这次很可能是对这批泄露信息再利用。换言之,如果这些用户名和密码和其他网站一致,也很可能会侵入这些用户在其他平台上的信息安全。” 前程无忧同时介绍了该公司对用户信息安全的管理方式。据称,前程无忧的用户密码是加密串,非本人无法从前程无忧获取登录密码、进入他人账户,即使数据库的管理人员也无法获取。 此外,前程无忧已经在几年前建立起密码碰撞库,用户必须重设密码(暗码)才能进入在51job的账户。前程无忧表示,此次涉及的用户是多年未登陆51job,没有重设密码的。
在互联网行业很多业务场景都需要基于业务的id生成器,来生成各个业务数据的业务主键,很多传统企业或者小众业务会直接拿数据库的自增主键当做业务主键,当然这样能够解决大部分问题,但是在流量比较大的业务场景中,一般会考虑分库分表,那么自增主键的优势就荡然无存了,因为每张表的自增主键对于上层业务来说无法做到唯一性(或者说扩展性不好)。
本篇文章来源:知乎 作者:屠飞飞 最近,俄罗斯受到了以美国为首的西方国家的疯狂制裁,在科技领域,以谷歌、苹果、微软、英特尔、Facebook、亚马逊、戴尔、Oracle为首的20多家科技巨头相继对俄罗斯出手。作为IT从业人员,我们肯定会想到,如果制裁落到中国头上会怎么样? 作为IT从业人员,我们肯定会想到,如果制裁落到中国头上会怎么样?笼统地分析可能意义不大,今天转载这篇文章,具体分析银行对美国科技的依赖。 一、科普下什么是IOE 这是三家IT巨头的名字,I=IBM,O=Oracle,E=EMC。 他们都
推荐阅读: 《外包,狗都不去。。》 《这次,我得夸夸西安。。。》 大家好,我是微笑。 最近,俄罗斯受到了以美国为首的西方国家的疯狂制裁,在科技领域,以谷歌、苹果、微软、英特尔、Facebook、亚马逊、戴尔、Oracle 为首的 20 多家科技巨头相继对俄罗斯出手。 作为IT从业人员,我们肯定会想到,如果制裁落到中国头上会怎么样? 笼统地分析可能意义不大,今天转载屠飞飞的一篇文章,具体分析银行对美国科技的依赖。 来源: https://www.zhihu.com/question/23932487/ans
2021年11月中国软件工程师陈兆军发现了一个在Java服务中常用日志组件Log4j2的一个高危漏洞,并提交给官方。
参考博客1给出了一种所谓的平滑帅气的秒级扩容的架构方案,但我个人却认为,这个看似没有什么问题的方案在实际中几乎没什么用处,业界也几乎不会用这种方案来进行扩容(分库分表)。为了便于说明这一点,本文先简单回顾下该方案,然后分析该方案为什么没有用,最后给出三种业界广泛使用的分库分表的平滑扩容方案。
关于数据分片的话题,近期非常火热。一方面是由于用户在海量数据、高并发访问的诉求日益增长;另一方面分布式数据库发展迅速、技术路线各异,难以选择。近期的一篇关于数据分片的文章吸引到我,文中对数据分片从技术角度做了分析归类,提出一种很好的归纳方法。本文尝试延展这一观点,对数据分片进行归类阐述。
12 月 3 日、4日,2022 Apache IoTDB 物联网生态大会在线上圆满落幕。大会上发布 Apache IoTDB 的分布式 1.0 版本,并分享 Apache IoTDB 实现的数据管理技术与物联网场景实践案例,深入探讨了 Apache IoTDB 与物联网企业如何共建活跃生态,企业如何与开源社区紧密配合,实现共赢。
用户分析(或帐户分析),是指对用户、帐户明细数据进行统计分析计算。常见的有:用户行为分析、银行帐户统计、漏斗转化率、保险单分析等等。
进入大数据时代,调查报道愈加成为信息战。从哪里收集有效数据?如何抽取、筛选、整合、分类大量琐碎的信息?如何分享、存储数据,并实现随取随用?钱塘君整理了一张数据收集和处理工具清单,分为八大类,方便实用,各有所长,供大家选择。 ---- 1.全文本搜索和挖掘的搜索引擎: 包括:搜索方法、技术:全文本搜索,信息检索,桌面搜索,企业搜索和分面搜索 开源搜索工具: Open Semantic Search:专门用于搜索自己文件的搜索引擎,同样的还有Open Semantic Desktop Search:可用于搜索单
Elasticsearch将其软件堆栈的核心由Apache 2改为一种限制性更强的许可证,再次提出了开源数据库有没有未来这个问题。但是,也许我们不应该太纠结于许可问题。
喵喵~ 🐱 猫头虎博主来啦!为了满足你们对“高可用PostgreSQL”的好奇心,今天我要和大家分享如何打造一个真正的高可用PostgreSQL环境!你是否在搜索“PostgreSQL高可用配置”和“PostgreSQL高可用工具”时感到迷茫?不要担心,我来为你指路!🚀
在今天双 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下双11天量交易额背后的技术。
随着互联网业务快速发展,多IDC的业务支撑能力和要求也逐步提升,行业内的“两地三中心”方案较为流行。
数据价值,链接未来。在这一年之中,越来越多的企业开始践行数据驱动的价值发现之旅,尝试在各个层面引入数据和智能化的技术,分布式应用也日趋广泛,技术使得整个世界连接起来。本次大会围绕云、数据、智能组织前沿议题,倡导以智能智慧算法应用,发掘数据价值,以技术将企业链接到未来的战略制高点!
华为公司今年6.30开源了openGauss数据库,openGauss数据库内核基于postgresql9.2.4演进而来,pg11.3版本数据库中共有290个数据库参数,而openGauss目前有515个数据库参数,每个参数对应一个数据库内核功能,所以可以看到华为公司对pg的内核还是做了非常大的改造和增强。
今年校招形势比较差,很多人直到十月份都还是0 offer,连个保底的都没有,搞不好毕业就失业。。。
当我们的应用升级时往往会伴随着数据库表结构的升级,此时就需要迁移数据库的表结构。一般我们会使用工具或者脚本来实现,手动操作毕竟有一定风险,要是能在应用启动时自动升级数据库表结构就好了!Flyway正是这么一款工具,通过Flyway和SpringBoot结合使用,在应用启动时就可以自动升级数据库表结构,非常方便,推荐给大家!
腾讯云日前与MariaDB基金会正式签署战略合作协议,2019年,腾讯云将继续以白金会员身份为基金会的发展提供强有力的资源支持,与MariaDB全球用户和开发者一道,共建开放共赢的全球开源生态圈。
这篇文章主要揭秘 Stack Overflow 截止到 2016 年的技术架构。 首先给出一个直观的数据,让大家有个初步的印象。 相比于 2013 年 11 月,Stack Overflow 在 2016 年 02 月统计数据有较大变化,下面给出 2016 年 02 月 09 号一天的数据,如下: HTTP 请求数 209,420,973 (+61,336,090) 网页加载次数 66,294,789 (+30,199,477) HTTP 流量发送有1,240,266,346,053 (+406
声明 本文为笔者根据自身的项目经验,以及参考大量文档书写而成。文中提到很多厂商的解决方案和概念,第一不方案之间的优劣评判,第二不进行厂商间的相互攻击,第三文中仅代表个人观点,不代表任何厂商的官方立场。 目前业内主流的双活存储技术 双活这个概念,2013年前后比较火热,那时候笔者有幸参与了IBM的一些双活项目,如GPFS A-A,PowerHA/HyperSwap等。因此本文也是有感而发,经验之谈。 谈到双活,首先这是一个很宽泛的概念。广义上说,双活是两个或多个数据中心,每个都具有独立运行生产应用所需要的所有
我帮我朋友搭建了一个Wiki.js,过程中也遇到了不少问题,这边写一篇文章总结一下吧
随着数据越来越大, QPS越来越高, 各公司都会利用分布式缓存, 缓解数据库压力.
Percona 在12月21日 发布对Percona Server 8.0 GA版本。
领取专属 10元无门槛券
手把手带您无忧上云