近些年,各家公司都在不断推出各种新的 App,百万 DAU 成为各种 App 的最基本目标。本文将详解如何通过大规格服务器 +K8s 的方案简化这些新项目的成本评估、服务部署等管理工作,并在流量增长时进行快速扩容。同时,本文还介绍了微博核心业务采用此方案部署时遇到的问题以及对应的解决方案。
作者 | 微博研发中心基础架构部 孙云晨 编辑 | 蔡芳芳 近些年,各家公司都在不断推出各种新的 App,百万 DAU 成为各种 App 的最基本目标。本文将详解如何通过大规格服务器 +K8s 的方案简化这些新项目的成本评估、服务部署等管理工作,并在流量增长时进行快速扩容。同时,本文还介绍了微博核心业务采用此方案部署时遇到的问题以及对应的解决方案。 问题与挑战 以一个常见的社交 App 后端服务为例,如果采用主流微服务架构进行设计,通常会包含用户、关系、内容、提醒、消息等多个模块;每个模块又会分别包含各自
早些时候腾讯云就放出来消息要提供轻量应用服务器升级配置的消息,今天正式开始内测我就申请尝鲜了一下。
分片,Redis 数据的分布方式,分片就是将数据拆分到多个 Redis 实例,这样每个实例将只是所有键的一个子集。
Nginx是一个非常出色的静态资源web服务器。如果你嫌它还不够快,可以把放在磁盘中的文件,映射到内存中,减少高并发下的磁盘IO。
不论你是否关注,Java Web应用都或多或少的使用了线程池来处理请求。线程池的实现细节可能会被忽视,但是有关于线程池的使用和调优迟早是需要了解的。本文主要介绍Java线程池的使用和如何正确的配置线程池。
绝大部分 DoS 攻击,一般来说都是目标系统收到大量服务请求,最终导致拒绝服务状态。实际上,随着技术的发展,如果要让现在的系统“拒绝服务”,是需要海量请求配合的——也就是所谓的泛洪攻击才能做到的,这就需要用到分布式拒绝服务,也就是 DDoS 攻击了。但在前不久结束的 DEF CON 大会上,安全研究人员在 Windows SMB 服务中发现一个漏洞,利用该漏洞,即便是一台普通性能的计算机,也能对拥有海量运算资源的服务器发动 DoS 攻击。 近日,RiskSense的安全研究人员找到了一个20年之久的Wind
2022年注定是充满不确定性的一年, 疫情反复、经济萎靡不振、全球供应链受到波及、能源及粮食危机……无一不给企业的生存发展带来巨大挑战。市场萎缩、资金链断裂、企业裁员,充斥着网络的头版头条。面对如此严峻的形势,企业如何才能破局呢?
2022年注定是充满不确定性的一年, 疫情反复、经济萎靡不振、全球供应链受到波及、能源及粮食危机……无一不给企业的生存发展带来巨大挑战。市场萎缩、资金链断裂、企业裁员,充斥着网络的头版头条。面对如此严峻的形势,企业如何才能破局呢? 数字化转型,依然是纾困解难的关键。其中大数据产业更是重中之重。 作为大数据产业最关键的基础设施之一,数据库的重要性可以说毋庸置疑。以中国移动、中国联通、中国电信等三大运营商为例,遍布全国的千行百业,数以千万计的企业,以及数以亿计的民众,都在享受着运营商提供的连接服务与快捷便利。而
1、Elasticsearch和MongoDB/Redis/Memcache一样,是非关系型数据库。
机器之心报道 作者:小舟、陈萍 全球最大芯片出第二代了!WSE 2 将于今年第三季度上市。WSE 2 采用 7 纳米制程工艺,晶体管数达 2.6 万亿个。 近年来大量芯片进入市场,旨在加速人工智能和机器学习工作负载。基于不同的机器学习算法,这些芯片通常专注于几个关键领域,但它们大多有一个共同的限制——芯片大小。 两年前,Cerebras 揭开了芯片设计领域的一场革命:他们研发了一款名为 Wafer Scale Engine(WSE)的芯片,拥有 1.2 万亿个晶体管,是英伟达 GPU Titan V 的 5
* 本文原创作者:Push丶EAX,本文属FreeBuf原创奖励计划,未经许可禁止转载 笔者经常要使用虚拟机,然而作为一个用着i3的屌丝,每一次开虚拟机都是一次煎熬。于是便有了撸台新主机的打算。 作为一个纯屌丝,笔者知道有不少小伙伴都跟笔者用着一样的渣硬件环境。本着极客精神,笔者把折腾新机的整个过程整理出来,希望能够抛砖引玉,让更多像笔者一样的小伙伴能用上高性能且廉价的硬件。 开始搭建 首先出了原有的i3-3220+8G+GTX460整机,获得1200元,接下来就要在这1200的区间内发挥了。 作为一个潜伏
背景 最近SSIS的开发过程中遇到几个问题。其中使用CTE时,遇到一个远程连接对象,结果导致严重的性能问题,为了应急我就修改了代码。 之前我写了一篇介绍CTE的随笔包含了CTE的用法等:
拿到地平线的板子好久了,但是一直呆的地方不固定,一直也没有使用,现在到深圳了,一个快递一天到的地方!woc,爱见。
近日AWS re:Invent2022隆重召开,作为一年一度的云科技盛会,AWS高级副总裁Pete DeSantis介绍了 AWS 的一些重大工作成果与改进,主要包含硬件、网络、科学和软件四部分。本文将重点介绍Nitro V5、Graviton3E以及SRD网络传输协议方面的创新。
作为 Uber 工程实现盈利的众多努力的一部分,最近我们的团队致力于通过提高效率来降低算力成本。其中最有影响力的一些工作是围绕 GOGC 优化展开的。在这篇博客,我们想分享我们在高效、低风险、大规模、半自动化 Go 垃圾回收调优机制方面的经验。
https://www.elastic.co/guide/en/elasticsearch/reference/7.9/getting-started-install.html
IT程序员在很多人眼里是刻板没情商的印象,永远穿着一件格子衬衫,永远盯着一个黑眼圈,永远加不完的班,程序员可能是最苦逼的工作之一了。作为一个苦逼的IT程序员,除了要面对大家的吐槽,每天休息可能都提心吊胆的。网络安全问题,例如宕机、黑客攻击等,都让程序员头痛不已,今天墨者安全就来说说作为一个苦逼的IT程序员最怕出现哪些问题?
本来好好的笔记本的,可偏偏屏幕说烂就烂,那就干脆不要了,改造改造吧! 他本来长这样的,如图: 什么,你看见了水印….老哥,别在意这些细节。 简单说一下配置: 处理器:i5 双核四线 内存:DDR4 4
编者按 本文整理自 Johann Schleier-Smith 在 ServerlessDays China 的演讲,是来自加州大学伯克利分校计算机科学 Riselab 团队的研究成果。 ServerlessDays 是由全球 Serverless 开发者发起的国际技术会议。2020 年由腾讯云 Serverless 团队引入中国,并承办了首届 ServerlessDays China 会议。会上 Johann Schleier-Smith 代表伯克利计算机科学 Riselab 实验室进行了主题发言。
如下图所示,全球服务器市场的销售额和出货量在2019年第二季度都出现了较大的下滑。但此次服务器市场的下滑并非出人意料。
拆分在算法中是一个非常重要的思想,当你的数据集巨大时,你可以按照特定的规则将大数据拆分成小数据集,降低因数据量增长过大带来的问题。
尽管多年来一直预测DRAM将被其他类型的内存所取代,但它至今仍然是几乎所有计算芯片中必不可少的组件。DRAM的足迹没有消失,而是一直在增加,DRAM类型的选择也在增加。
一个老外的有关Redis的博客文章中提到一个有趣的事情:它们在测试期间获得的延迟图。为了持久化Redis的数据到磁盘(例如:RDB持久化),Redis需要调用fork()系统命令。
Redis 6.0 引入多线程 IO 特性对性能提升至少是一倍以上。据 Redis 作者 antirez 在 RedisConf 2019 分享中介绍,多线程 IO 特性可以显著提高 Redis 的性能和吞吐量,实测 GET/SET 命令在 4 线程 IO 下的性能相比单线程几乎翻倍。国内也有一些大牛在阿里云 ESC 上测试了 unstable 版本的 Redis,结果也证实了多线程比单线程性能提升一倍左右的结论。
缓存系统由多个配置了大量ram和网络容量的服务器组成,为了实现快速检索,将数据存储到内存或闪存中。缓存服务器是key-value类型的,且大部分是memcached。为了保证快速且简易,服务器之间通常不会共享任何内容,即一个key-value存储不会依赖其他系统,由客户端来选择使用哪个服务器来存储或检索数据。客户端通常使用哈希对不同的key进行分片,并将其分布到对应的缓存服务器上,以此来分发数据并达到负载均衡。
需求背景: 后台业务逻辑类服务,其实现通常都会依赖其他外部服务,比如存储,或者其他的逻辑server。 有一类比较典型的问题: 假设主调方A是同步处理模型,有一个关键路径是访问B服务。 当被调服务B延迟很高时,主调方A的进程会挂起等待,导致后来的A请求也无法及时处理,从而影响整个A服务的处理能力。甚至出现A服务不可用。 当然,比较理想的是B出现过载或者故障时,A的服务能力能够降到和B同等的服务能力,而非不可用。 因此,部门会定期进行容灾演习,也期望能够验证到各个服务的"最差服务能力"。即验证被调出现较高延迟
前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移。因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3.6.0 ,PanGu分词也是对应Lucene3.6.0版本的。不过好在Lucene.net 已经有了Core 2.0版本(4.8.0 bate版),而PanGu分词,目前有人正在做,貌似已经做完,只是还没有测试~,Lucene升级的改变我都会加粗表示。 Lucene.net 4.8.0 https://
本文作者:和广强,腾讯 TEG 后台开发工程师 0 导语 性能优化是一条既充满挑战又充满魔力的道路,非常幸运如今基于 X86 的性能优化方法及工具已经比较成熟,在 TGW 产品架构即将变革之际,我们结合 X86 常用的性能优化方法与工具,深入分析 DPDK 版本 TGW 转发架构与流程将 TGW 转发性能从 13Mpps 优化到 50Mpps;本文带你穿越下一代 TGW 性能优化之旅,快上车吧。 1 前言 目前腾讯突破“双百”里程碑(服务器超过 100W 台,带宽峰值超过 100T)其所承载的业务
一个简单直观的想法是直接用Hash来计算,以Key做哈希后对节点数取模。可以看出,在key足够分散的情况下,均匀性可以获得,但一旦有节点加入或退出,所有的原有节点都会受到影响,稳定性无从谈起。
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台,为支撑腾讯公司业务持续发展,为业务建立竞争优势、构建行业健康生态而持续贡献价值! ---- 海量数据正以前所未有的增长趋势冲击着整个数据中心行业,数据中心建设者们不得不以一种新的思考方式去重新审视I
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台,为支撑腾讯公司业务持续发展,为业务建立竞争优势、构建行业健康生态而持续贡献价值! 海量数据正以前所未有的增长趋势冲击着整个数据中心行业,数据中心建设者们不得不以一种新的思考方式去重新审视IT系统架构
1月10日消息,据路透社等外媒报道,SK海力士在CES 2024展会期间举办了“Memory,the Power of AI”新闻发布会。SK海力士社长兼CEO Kwak Noh-Jung表示,受益于AI需求,SK海力士市值可能将会在3年内翻倍,即从目前的100万亿韩元市值增长至200万亿韩元。
从初创企业到成熟的大型企业,从互联网企业到传统实体经济企业,从民间组织到领先的政府机构,上云几乎成为一个共同的选择,云几乎可以运行各种不同的工作负载。
今天我来为大伙介绍一下我们搜狗的最新官方开源力作 - Sogou C++ Workflow !
平时大家玩网络游戏的时候会要选择服务器,这是因为游戏是需要服务器支持的,一个游戏服务器里面容纳的玩家数量是有限制的,如果玩家们数量过多的话就会影响服务器的正常运行,所以大型游戏往往会为玩家们提供多个服务器,这个服务器满了就可以选择其他的服务器,那么100人云游戏服务器配置要求高不高?100人云游戏服务器大概需要多少钱?下面小编就为大家带来详细介绍。
《腾讯游戏开发精粹》系列书籍是腾讯游戏的技术结晶,涵盖自主研发的多个研究成果和技术进展,适合游戏从业者以及对游戏感兴趣的读者阅读。 本系列已出版2册,包含30多个客户端、服务器、人工智能、计算机图形、动画和物理、管线工具等方面的前沿技术方案,累计上百万字,受到广大读者欢迎。系列第3册目前正在筹备中,敬请期待。 临近年终,腾讯游戏学堂特别推出福利抽奖活动,每位用户都有机会免费领取书籍,或以专属超低价格购买,100%中奖!长按扫描二维码,或点击查看原文参与! 活动链接中提交留言,分享希望在第3册看到的内容,还
最近,阅读了Will Larson的文章Introduction to Architecting System for Scale,感觉很有价值。作者分享了他在Yahoo!与Digg收获的设计可伸缩系统的架构经验。在我过往的架构经验中,由于主要参与开发企业软件系统,这种面向企业内部的软件系统通常不会有太大的负载量,太多的并发量,因而对于系统的可伸缩性考虑较少。大体而言,只要在系统部署上考虑集群以及负载均衡即可。本文给了我很多启发,现把本文的主要内容摘译出来,并结合自己对此的理解。 Larson首先认为,一个
作为首款搭载HBM3e内存的GPU,内存带宽也从3.35TB/s提升至4.8TB/s,提升43%。
大型语言模型 (LLM) 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵,需要大量的计算资源和内存,因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而,不同硬件和软件堆栈的运行时性能可能存在很大差异,这使得选择最佳配置变得困难。
本文生动阐述单服务器、队列、多服务器、集群、负载均衡之前的关系,例子稍有不雅,但是理解概念是很有帮助的,文章短小精悍,转发是对作者的最大支持,可以阅读原文关注作者。
计算机硬件对于软件工程师来说很多时候只是停留在一个概念上,例如CPU和内存,硬盘等等,这些都属于计算机组成原理里面必然会介绍到的,博主大学前期接触过大量的计算机硬件知识,曾几何时我甚至考虑过全身心投入到半导体行业,但是考虑到环境限制因素和个人职业的发展,折中选择了软件方向,但是最近阅读了一些机器学习相关的文章,也尝试过自己去训练模型,发现模型训练对硬件的要求比较特殊,这也让我有机会来从新总结一下硬件方面的知识,从软件工程师的角度介绍一下我理解的硬件知识。 首先我主要介绍的是单机系统的硬件组成,不太涉及路由器和交换机等等网络设备,毕竟即使是分布式系统也是由一台台机器组成的,分布式系统技术会涉及很多网络和数据一致性方面的问题,这在单机系统里这些问题都几乎被解决了,因为它是由系统总线与各种高速并且可靠协议的传输保证。 只要是计算机体系结构就离不开三个部分,处理运算模块,存储模块,通信模块。在单机系统里对应就是CPU,内存与硬盘,系统总线。 无论是服务器还是PC,体系都差不多,只是在各个具体的部件对于性能和稳定性有一些特殊的要求,例如服务器更要求稳定性,因为服务器要保证7×24服务,而个人电脑更多强调的是比较强劲的性能,偶尔宕机只需要重新启动即可,这样用户是可以接受的。典型的电脑配置包含几个部分:CPU,内存,硬盘,显卡,主板,电源早期还有北桥(内置内存控制器等模块),南桥,还有散热系统。
1:取值范围如果加了unsigned,则最大值翻倍,如tinyint unsigned的取值范围为(0~255)。
最近,在知乎上看到这样一个问题:"为什么游戏公司的 server 不愿意微服务化?"
电脑连接同一局域网,在网络里即可看到NAS设备,点击进入,输入NAS用户名和密码即可看到所有共享文件夹了。
PCIe发展至今已经从最初的1.0升级到了6.0,但很多人对于PCIe只知其然而不知其所以然,小编今天就带大家一起来看一看。
当2020年10月份,NVIDIA在其GTC 2020大会上大张旗鼓的宣传DPU之后,整个行业热了起来,大家都在问:什么是DPU?DPU到底能干什么?DPU和GPU有什么区别?号称数据中心三大处理器之一的DPU,“何德何能”与CPU、GPU并驾齐驱?
提起分库分表,对于大部分服务器开发来说,其实并不是一个新鲜的名词。随着业务的发展,我们表中的数据量会变的越来越大,字段也可能随着业务复杂度的升高而逐渐增多,我们为了解决单表的查询性能问题,一般会进行分表操作。
领取专属 10元无门槛券
手把手带您无忧上云