背景 一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天，小伙伴们技术交流的方式也变得多样化。2021年8月21日下午，ES 中文社区联合腾讯云在腾讯滨海大厦举办了深圳地区年度首次 Meetup，活动采用线下现场参与、腾讯会议、云+社区线上同步直播的方式进行。来自腾讯、Tapdata、字节跳动、vivo 的技术专家们给 ES 社区的小伙伴们带来了一场精彩的技术视听盛宴。 一、社区发展 活动开始， ES 深圳分会主席杨振涛先生回顾了深圳 Meetup 历史并对本次活动表达了祝福，
Oracle 12c 在RAC方面提出了很多新的解决方案和特性。这些方案和特性使得Oracle 集群在云和大数据的时代环境下，帮助企业用户上云更具优势。今天我们来一起学习Oracle RAC在最新的12c Release 2版本上的最佳实践。 为了让大家更好地理解PPT的内容，在此做简单解读。 本文将围绕12.2中最新的两种集群的部署方式 Standalone Cluster和Domain Service Cluster展开，包含的内容分为以下几大模块： 1、12.2集群配置选项 2、Standalone
Oracle 自 12.2 版本推出了 Sharding 的分布式架构，通过对于分区表的特性延展将原来的集中式架构分散开来，这一特性推出之后，引起了很多行业客户的关注（福利：本文引用的PPT，可以关注
单一索引的问题： 1）不能更新Mapping。 比如：主分片数不可以修改（除非reindex）。 2）无法灵活、快速地扩展。 3）更适合固定、小型数据集。
以下是我们的Core Elasticsearch：Operations课程中的一些很棒的幻灯片，它们有助于解释分片分配的概念。 我们建议您更全面地了解这一点，但我会在此提供我们培训的概述：
本文源自今年系统架构师大会，我在会上分享《数据库工程架构实践》的前3页PPT，数据库架构设计中的一些基本概念。 画外音：会上分享了近4个小时，见《十年》。
Solr是一个开源搜索平台，用于构建搜索应用程序。它建立在Lucene(全文搜索引擎)之上。Solr是企业级的，快速的和高度可扩展的。使用Solr构建的应用程序非常复杂，可提供高性能 。它提供了层面搜索(就是统计)、命中醒目显示并且支持多种输出格式（包括XML/XSLT 和JSON等格式），并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。Solr7要求JDK为1.8以上。在Solr7版本中新增了跨核（solr 跨核概念，是建立在solr存储方式的基础上，因为使用solr前必须创建Core，Core即为solr的核，那不同的业务有可能在不同的核中，之前版本是不支持跨核搜索的）搜索功能。本文主要介绍如何在CDH6.2.0集群中使用Solr7对多种格式的文件建立全文索引。
大家好，我是58沈剑，今天我分享的主题是《58怎么玩数据库架构》，我的PPT页数非常少，讨论的问题非常的聚焦。 一、数据库的基本概念 基本概念就一页PPT，让大家就一些数据库方面的概念达成一致。 首
以 PPT 方式输出系统概要设计（顶层架构设计），包含以下模型，进行架构设计评审：
在2017 OOW大会上，关于Oracle Database 12.2 数据库的新特性介绍仍然引人瞩目，会后公布了 Oracle VP Swonger的文档，我们在此进行重点新特性的解读，并把这个PP
本文介绍了蚂蚁金服异地多活单元化架构的原理，以及微服务体系在此架构下的关键技术实现。
强烈建议先读一下本公众号《也浅谈下分布式存储要点》，对ES会有更好的认识。ES融合了倒排索引、行存、列存的诸多特点，已经不再是一个简单的全文搜索引擎。
5月29日，MongoDB中文社区携手MongoDB官方和Tapdata一起在长沙开展2021年第一场线下大会。本次大会带来了包括MongoDB的典型应用案例，MongoDB的分布式能力、数据迁移技术架构、存储引擎相关技术分享，以及MongoDB在物联网实时数据融合平台、互联网证券及金融系统的实战经验。
内容来源：2017 年 10 月 20 日，苏宁云商IT总部资深技术经理陈华军在“PostgreSQL 2017中国技术大会”进行《苏宁citus分布式数据库应用实践》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
朋友圈复杂度分析： 业务复杂度：朋友圈的业务复杂度比较低，只有内容发布、查看和评论和点赞等内容。 质量复杂度：朋友圈的用户非常多，微信的用户数量都会有朋友圈功能，根据张小龙在“2021微信公开课PRO”中的演讲，每天有10.9亿用户打开微信，3.3亿用户进行了视频通话；有7.8亿用户进入朋友圈，1.2亿用户发表朋友圈，其中照片6.7亿张，短视频1亿条；有3.6亿用户读公众号文章，4亿用户使用小程序。 可知，微信朋友圈的PV每天约为7.8亿，绝大部分人都会在白天查看朋友圈，在0点-6点相对是朋友圈活跃度最低的时间段，这部分的PV忽略不计，按18小时计算。 可以得到平均的QPS为12000，考虑到在某些时间段如中午吃饭、上下班路上使用朋友圈的情况会相对集中，因此，可以考虑峰值是平均值的5倍，那么高峰期的QPS大约为60000/s。 再查看朋友圈的时候，基本上查看朋友的人都会点赞，那么点赞功能的TPS可能是查看QPS的百分之八十左右，约为50000/s 对评论朋友圈的情况，评论的概率会低于点赞，按缩减五倍计算，评论的TPS大概为10000/s 对于发布朋友圈的情况，会存在很多用户都是查看朋友圈，而不会发布朋友圈，因此与评论持平即可，TPS为10000/s
Elasticsearch 和 Lucene 都是 Java 语言编写，这意味着我们必须注意堆内存的设置。
普及IPV6喊了多少年了，连苹果的APP上架App Store也早已强制IPV6的支持，然并卵，因为历史遗留问题，即使在IPV4地址如果饥荒的情况下，所谓的普及还是遥遥无期。但不可否认的是，IPV6肯定是未来趋势，做为网络通信领域的程序员来说，详细学习和了解IPV6是很有必要的，所谓厚积薄发，谁知道哪天IPV6真的普及了呢？那么，我们开始看正文吧。
既然你关注了 TiDB， 想必你一定是个关注 Infrastructure 的硬汉（妹）子。监控作为 Infra 不可或缺的一环，其核心便是 TSDB（time series database） 。
这是上月在公司内部的一次分享，现把PPT及交流内容整理成博客。 高可用 高可用（High Availability），是当一台服务器停止服务后，对于业务及用户毫无影响。 停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致，在很多时候也称单点问题。 解决单点问题主要有2种方式： 主备方式 这种通常是一台主机、一台或多台备机，在正常情况下主机对外提供服务，并把数据同步到备机，当主机宕机后，备机立刻开始服务。 Redis HA中使用比较多的是keepalived
题记 Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论…… 0. 带着问题上路—ES是如何产生的？ ---- （1）思考：大规模数据如何检索？ 如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题： 1）用什么数据库好？(MySQL、sybase、Oracle、达梦、神通、MongoDB、Hbase…) 2）如何解决单点故障；(lvs、F5、A10、Zoo
在生产环境搭建或维护 Elasticsearch 集群和个人搭建集群的小打小闹有非常大的不同。
【新增】 1、新增删除文件进入回收站功能； 2、新增在回收站可以还原文件和彻底删除文件功能； 3、新增自动删除回收站过期文件功能，默认过期时间是 30 天。
其中，第2步是每天的主要工作，有时候你会是 Sql boy，有时候又变身 TF boy （TensorFlow）。其他步骤都是傻瓜式操作。
凌夕文件管理系统（lfs）是基于 SpringBoot3.x+Mybatis+Mybatis-Plus+VUE3+Element Plus 开发的文件管理系统， 支持单文件上传、分片上传，视频上传完成后，可以根据视频转码配置转成对应的视频格式（mp4、m3u8），文档上传完成后，会转成 pdf 文件， 支持 word、excel、ppt、wps、text、rtf 文件转成 pdf。
内容来源：2017 年 8 月 12 日，饿了么高级Python工程师黄光星在“CRUG 2017北京活动”进行《Redis Cluster运维方案》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
今天分享的主题分三个部分。第一部分，跟大家介绍一下腾讯课堂和企鹅辅导这两款产品。第二，讲一下课堂直播系统，和腾讯云这边的具体实践案例。第三，谈一下在线教育的房间系统设计方案和这几年过程中的优化效果。
论文中出现了一些名词，如果不了解其内涵，可能很难对论文的一些关键设计点理解到位，因此这里对相关概念和背景做了一些铺垫。
大家好，我叫李晓慧，我没有一页PPT介绍自己，我就自己简单说一下，我以前是一个开发，我感觉很孤独，因为开发的女生很少，我转过两次组，然后一开始做C++开发，后来用C++做后台开发，后来用PHP、JS、Python进行前台开发和运营开发，整个过程我都感觉有点孤独的，后来我转产品经理，之后做的第一个产品是时序数据库，现在马上就要计费了，现在做的是MongoDB，做了产品经历之后，感觉责任很大，toB要多接近客户，今天我感觉来这么多人，我感觉真的是很开心，因为这么近距离跟我已有的客户或者未来要成为我的客户交流。昨天拜访了一个客户，他的业务侧的开发其实是不太强的，主要靠我们的数据库，拜访完之后就感觉责任很大，对于初创公司的话，我们这种数据库团队其实责任还是非常大的，我的心路历程以及自我介绍就这样。
点击上方蓝字关注每天学习数据库 作者简介：许中清，腾讯云自研云原生数据库CynosDB的分布式存储CynosStore负责人，负责数据库内核开发、数据库产品架构、规划和落地。 腾讯云数据库CynosStore负责人许中清 ---- 3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 关注腾讯云数据库官方微信，回复“0
面对信息化程度不断提高带来的PB级海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。
1.背景 自从google发表著名的GFS、MapReduce、BigTable三篇paper以后，互联网正式迎来了大数据时代。大数据的显著特点是大，哪里都大的大。本篇主要针对volume大的数据时，使用机器学习来进行数据处理过程中遇到的架构方面的问题做一个系统的梳理。 有了GFS我们有能力积累海量的数据样本，比如在线广告的曝光和点击数据，天然具有正负样本的特性，累积一两个月往往就能轻松获得百亿、千亿级的训练样本。这样海量的样本如何存储？用什么样的模型可以学习海量样本中有用的pattern？这些问题不止是工
源 | 分布式机器学习系统@知乎 文 | carbon zhang 整理 | AI时间 1.背景 本篇主要针对volume大的数据时，使用机器学习来进行数据处理过程中遇到的架构方面的问题做一个系统的梳理。 有了GFS我们有能力积累海量的数据样本，比如在线广告的曝光和点击数据，天然具有正负样本的特性，累积一两个月往往就能轻松获得百亿、千亿级的训练样本。这样海量的样本如何存储？用什么样的模型可以学习海量样本中有用的pattern？这些问题不止是工程问题，也值得每个做算法的同学去深入思考。 1.1 简
内容来源：2018 年 06 月 30 日，Elastic工程师与布道师曾勇在“Elastic Meetup 南京交流会”进行的《Elastic探秘之遗落的珍珠》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
•一、超级节点 •1.1 超级节点概念 •1.2 从图数据网络中寻找超级节点•二、与超级节点相关的关键问题案例•三、模拟超级节点 •3.1 服务器资源 •3.2 构建模拟数据的图数据模型 •3.3 模拟超级节点的数据规模•四、超级节点建模优化 •4.1 关系结构优化方案 •4.2 标签细分遍历图可减少节点规模•五、增删改操作优化 •5.1 服务器优化 •5.2 图库配置优化 •5.3 JVM调优 •5.4 批量操作 •5.5 服务器端操作文件•六、检索效率提升 •6.1 查询优化 •6.2 预热数据 •6.3 图数据库索引 •6.4 图数据库全文检索lucene接口 •6.5 图数据库全文检索集成Elasticsearch •6.5.1 数据同步-关联存储 •6.5.2 数据同步-监控程序同步 •6.5.3 Elasticsearch调优•七、自规避路径查询 •7.1 查询场景案例 •7.2 自规避查询实现
内容来源：2017 年 11 月 18 日，百度数据库架构师严龙在“第七届数据技术嘉年华”进行《百度NewSQL-CockroachDB》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方、演讲者以及微信公众号——CockroachDB（微信id：CockroachDB）审阅授权发布。 阅读字数：3621 | 10分钟阅读 摘要 本次交流主要包括开源 NewSQL 数据库 Cockroach DB 关键技术分析以及 Cockroach DB 在百度内部的应用和实践。 嘉宾
内容来源：2017 年 12 月 3 日，小米资深架构师孙寅在“IAS2017互联网架构峰会”进行《小米弹性调度平台Ocean——从PaaS带DCOS》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方、演讲者以及微信公众号——小米运维（微信id：MI-SRE）审阅授权发布。 阅读字数：3244 | 9分钟阅读 摘要 本次将为大家分享小米的弹性调度平台Ocean以及想过的体系建设历程。 嘉宾演讲视频及PPT回顾：http://suo.im/4GX9J0 平台演进 Ocea
随着ChatGPT的发布和火爆，全世界的目光仿佛都聚焦在了大语言模型上；其强大的语言理解能力和生成能力、上下文记忆、学习纠错、思维链推理等关键能力的涌现，都标志着”AIGC“的发展到达了技术拐点。全世界的开发者手握一个如此威力巨大的雷神之锤，恨不得把所有的钉子都锤一遍，所以大模型火热的开始阶段，有了这样的一个言论：”世界上所有的app都可以结合大模型重做一遍“。话语虽经不起推敲，但大模型在一些领域确实可以提高惊人的效率，尤其是效率工具领域，从以下几个宏观角度分析，确实给效率工具带来了极大的机会。
大家下午好，我是来自腾讯云基础架构部ckafka团队的高级工程师闫燕飞。今天在这里首先为大家先分享一下开源Kafka在高性能上面的一些关键点，然后我会分享一下我们腾讯云ckafka对社区Kafka所做的一些优化点，最后我会介绍一下我对Kafka社区未来的展望。
最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。
之前写过几篇在线协作相关的文章，如何实现多人协作的在线文档，在线Excel存储方案，如何实现在线Excel多人协作,在线协作如何保证消息有序、不丢、不重,今天继续和大家一起探讨在线协作系统的总体架构。我们这里说的在线协作系统包括：「在线文档」、「在线Excel」、「在线脑图」、「在线流程图」、「在线PPT」、「在线PS」等文档类的系统。我们主要分前端和服务端两部分来讨论。
TiDB 在使用过程中，随着用户数据量的持续增长，存储成本在数据库总成本中的占比将会越来越高。如何有效降低数据库存储成本摆在了许多用户面前。
| 导语 腾讯云 Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。 背景 某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。 小游戏主要分为渲染 因为游戏业务本身的日志数据量非常大(写入峰值在 100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的 ES 集群
关注腾讯云大学，了解行业最新技术动态 文章作者：bellen，腾讯云大数据研发工程师 导 语 腾讯云Elasticsearch 被广泛应用于日志实时分析、 结构化数据分析、全文检索等场景中，本文将以情景植入的方式， 向大家介绍与腾讯云客户合作过程中遇到的各种典型问题， 以及相应的解决思路与方法，希望与大家一同交流。 背景 某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。 因为游戏业务本身的日志数据量非常大(写入峰值在 100w qps
某中型互联网公司的游戏业务，使用了腾讯云的Elasticsearch产品，采用ELK架构存储业务日志。因为游戏业务本身的日志数据量非常大(写入峰值在100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的ES集群调整的比较稳定，避免了在业务高峰时客户集群的读写异常，并且降低了客户的资金成本和使用成本。下面把服务客户过程中遇到的典型问题进行梳理，总结经验，避免再次踩坑。
某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。
点击上方蓝字关注每天学习数据库 作者简介：尚博，腾讯云数据库高级工程师，多年数据库内核研发经验，在事务、日志、存储、性能调优、SQL兼容性等方面有较深的研究和开发经验。 腾讯云数据库高级工程师尚博 3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 本文为尚博分享的《CynosDB for MySQL 计算存储分离架
插入集合(关系型数据库叫行，mongodb叫文档，insert后不需要手工提交，其他会话可以看到)
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
