腾讯技术工程官方号的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯技术工程官方号的专栏

专栏成员

1119

文章

2587966

阅读量

907

订阅数

万字长文教你如何做出 ChatGPT

NLP 服务 https 网络安全神经网络强化学习

作者：monychen，腾讯 IEG 应用研究员简单来说，ChatGPT 是自然语言处理（NLP）和强化学习（RL）的一次成功结合，考虑到读者可能只熟悉其中一个方向或者两个方向都不太熟悉，本文会将 ChatGPT 涉及到的所有知识点尽可能通俗易懂的方式展现出来，有基础的同学可以选择性跳过一些内容。 GPT 的进化史本节的主要目的是介绍自然语言处理中语言模型的一些基础知识，理解语言模型到底在做什么。 GPT 所谓的 GPT(Generative Pre-trained Transformer)，其实是 G

腾讯技术工程官方号

2023-02-17

2.9K0

谷歌开源、高性能RPC框架：gRPC 使用体验

http https rpc 网络安全文件存储

作者：datumhu，腾讯 IEG 后开开发工程师在广告系统实践中，精排服务基于 gRPC 协议调用 TF-Serving 在线推理服务。相信很多业务已经使用过 gRPC 相关语言的框架进行服务调用，尤其是基于谷歌云的出海业务的服务调用更绕不开 gRPC，所以很有必要理解 gRPC 的原理。本文通过简要介绍抓包分析一次 gRPC 的调用过程，逐步认识 gRPC。概述 gRPC 是谷歌推出的一个开源、高性能的 RPC 框架。默认情况下使用 protoBuf 进行序列化和反序列化，并基于 HTTP/2 传输

腾讯技术工程官方号

2023-02-13

1.4K0

ClickHouse 查询优化详细介绍

https 网络安全文件存储存储 sql

作者：oliverdding，腾讯 CSIG 测试开发工程师你想要的 ClickHouse 优化，都在这里。 ClickHouse 是 OLAP（Online analytical processing）数据库，以速度见长[1]。ClickHouse 为什么能这么快？有两点原因[2]：架构优越列式存储索引数据压缩向量化执行资源利用关注底层细节但是，数据库设计再优越也拯救不了错误的使用方式，本文以 MergeTree 引擎家族为例讲解如何对查询优化。 ClickHouse 查询执行过程 ⚠️

腾讯技术工程官方号

2023-01-09

2.2K1

腾讯智能写作助手「文涌 (Effidit)」2.0发布

https 网络安全智能创作

四大模块上新：风格化的「文本续写」、知词懂句的「超级网典」、可解释的「智能纠错」、博古通英的「文本润色」。近日，腾讯 AI Lab 将智能创作助手文涌（Effidit）更新到了2.0版本（effidit.qq.com），帮助写作者更好地应对上述难题。新版本除了优化第一版[1,2]已有的功能之外，还带来了风格化文本续写、英文句子改写与扩写、现代文和文言文互译、词语推荐、跨语言例句推荐（中英）、可解释的英文纠错等新功能。新版文涌包含「文本补全」、「智能纠错」、「文本润色」、「超级网典」四个模块，其中「文本补

腾讯技术工程官方号

2022-12-21

8K0

ZooKeeper 核心通识

数据结构分布式 zookeeper https 网络安全

作者：mosun，腾讯 PCG 后台开发工程师文章分三部分展开陈述：ZooKeeper 核心知识、ZooKeeper 的典型应用实现原理、ZooKeeper 在中间件的落地案例。为了应对大流量，现代应用/中间件通常采用分布式部署，此时不得不考虑 CAP 问题。ZooKeeper（后文简称 ZK）是面向 CP 设计的一个开源的分布式协调框架，将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用，分布式应用程序可以基于它实现诸如数据发布/订阅、负

腾讯技术工程官方号

2022-11-30

7860

手写了个可能是Github性能最强的Go跳表

github git 开源 https 网络安全

作者：phongchen，腾讯 IEG 后台开发工程师 2022 年 3 月，广大人民期盼已久的支持的泛型的 go1.18 发布了。但是目前基于泛型的容器实现还不多。我实现了一套类似 C++中 STL 的容器和算法库。其中有序的 Map 选择用跳表来实现，并优化到了相当好的性能。在此分享一下优化的思路和心得，供大家参考借鉴，如果发现有错误也欢迎指出。一、背景首先为标题党致歉，不过确实没吹牛 😊。最近一年我所负责的业务系统中，用 Go 语言的实现的占了至少 70%的比例，因此 Review 了大量的 G

腾讯技术工程官方号

2022-09-02

1.5K0

了解 HTTP 看这一篇就够

https 网络安全缓存 SSL 证书

作者：yutingbai，腾讯 PCG 前端开发工程师 1. http的发展史在学习网络之前，了解它的历史能够帮助我们明白为何它会发展为如今这个样子，引发探究网络的兴趣。下面的这张图片就展示了“互联网”诞生至今的发展历程。 2. http是什么？ HyperTextTransferProtocol 直译为‘超文本传输协议' 超文本：指文字、图片、视频、音频等的混合体，比如最熟悉的html。传输：http是一个“双向协议”，传输的是请求方和响应方之间的数据，不限制请求方和响应方之间的角色，传递的过程中可

腾讯技术工程官方号

2022-08-26

9771

编程算法 https 网络安全单片机 c++

作者：kylinkzhang，腾讯 CSIG 后台开发工程师什么是协程我们可以简单的认为：协程就是用户态的线程，但是上下文切换的时机是靠调用方（写代码的开发人员）自身去控制的。同时，协程和用户态线程非常接近，用户态线程之间的切换不需要陷入内核，但部分操作系统中用户态线程的切换需要内核态线程的辅助。下面是一个简单的例子： void A() { cout << 1 << " "; cout << 2 << " "; cout << 3 << " "; } void B() {

腾讯技术工程官方号

2022-07-01

1.8K0

一致性 Hash 算法原理总结

缓存 node.js go https 网络安全

作者：kylinkzhang，腾讯 CSIG 后台开发工程师一致性 Hash 算法是解决分布式缓存等问题的一种算法，本文介绍了一致性 Hash 算法的原理，并给出了一种实现和实际运用的案例；一致性 Hash 算法背景考虑这么一种场景：我们有三台缓存服务器编号node0、node1、node2，现在有 3000 万个key，希望可以将这些个 key 均匀的缓存到三台机器上，你会想到什么方案呢？我们可能首先想到的方案是：取模算法hash（key）% N，即：对 key 进行 hash 运算后取模，N

腾讯技术工程官方号

2022-03-14

1.4K0

大规模 Node.js 网关架构设计与工程实践

缓存 http https 网络安全 node.js

作者：王伟嘉，腾讯云 CloudBase 前端负责人。本文是王伟嘉在 GMTC 2021 全球大前端技术大会（深圳站）上的演讲内容：《十亿级 Node.js 网关的架构设计与工程实践》。今天来开门见山地讲讲网关是一个怎么样的组件，网关在做什么事情。网关这个词其实到处都在用，它可以工作在硬件层面，也可以工作在网络层，还可以工作在应用层。网关快速入门网关在做什么？我们今天讲的实际上是一个工作在 HTTP 七层协议的网关，它主要做的有几件事情：第一，公网入口。它作为我们公有云服务的一个入口，可以把公有

腾讯技术工程官方号

2022-02-15

5800

提速 30%！腾讯TQUIC 网络传输协议

http https 网络安全 tcp/ip

作者：腾讯 sTGW-TQUIC 腾讯sTGW如何助力核心业务用户登录耗时降低30%，下载场景500ms内请求成功率从HTTPS的60%提升到90%，移动端APP在弱网、跨网场景下同样取得媲美正常网络的用户体验。腾讯核心业务用户登录耗时降低 30%，下载场景 500ms 内请求成功率从 HTTPS 的 60%提升到 90%，腾讯的移动端 APP 在弱网、跨网场景下取得媲美正常网络的用户体验。这是腾讯网关 sTGW 团队打造的 TQUIC 网络协议栈在实时通信、音视频、在线游戏、在线广告等多个腾讯业务

腾讯技术工程官方号

2021-12-01

3.5K0

开源监控系统 Prometheus 最佳实践

https 网络安全 go http

作者：jimmiehan(韩金明) , 腾讯PCG后台开发工程师, Prometheus/Thanos contributor Prometheus 是目前最流行的开源监控系统之一, 这里以我在基于 Prometheus 构建天机阁 2.0Metrics 子系统的实践谈一谈 Prometheus 的一些最佳实践, 最佳实践的理念是 Prometheus 系统简单稳定高效运行的关键。(注: 天机阁 2.0 是新一代云原生可观测性系统) 埋点思路最好将原始指标暴露给 Prometheus, 而不是在应用

腾讯技术工程官方号

2021-11-17

1.7K0

指标统计：基于流计算 Oceanus(Flink) 实现实时 UVPV 统计

kafka https 网络安全云数据库 Redis

作者：吴云涛，腾讯 CSIG 高级工程师导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 Flink SQL 来实现这些指标的统计会更加便捷。一、解决方案描述 1.1 概述本方案结合本地自建 Kafka 集群、腾讯云流计算 Oceanus（Flink)、云数据库 Redis 对博客、购物等网站 UV、PV 指标进行实时可视化分析。分析指标包含网站的独立访客数量（UV ）、产品的点击量（PV）、转化率（

腾讯技术工程官方号

2021-11-05

1K0

巧用 maxTimeMS 服务端超时，避免承载亿级用户的腾讯云数据库MongoDB服务雪崩

数据库 sql 云数据库 MongoDB mongodb https

腾讯云数据库MongoDB作为一款基于开源社区MongoDB版本的文档数据库产品，其承载着公司内外包括微信、看点、QQ音乐在内的亿级用户重量级APP产品。在某些场景的使用过程中，用户在客户端请求超时后会不断重试，可能导致服务端大量请求积压，出现恶性循环甚至导致服务雪崩。一般遇到这种情况，后台会自动检测并做服务降级，主动拒绝一部分用户请求，或者重启后端服务等举措来应对。但是这些措施对业务有损，或者不可自行恢复。本文围绕 MongoDB 原生 maxTimeMS 特性和腾讯云MongoDB的优化，并结合

腾讯技术工程官方号

2021-11-01

1.1K0

实时监控：基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

实时监控腾讯云可观测平台流计算 Oceanus https 网络安全

---- 作者：吴云涛，腾讯 CSIG 高级工程师本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现，通过实时采集并分析云服务器（CVM）及其 App 应用的 CPU和内存等资源消耗数据，以短信、电话、微信消息等方式实时反馈监控告警信息，高效地保障系统稳健运行。运用云化的 Kafka、Flink、ES 等组件，大大减少了开发运维人员的投入。一、解决方案描述（一）概述本方案结合腾讯云 CKafka、流计算 Oceanus (Flink)、 Elasticsearch、Promethe

腾讯技术工程官方号

2021-10-14

2.3K0

Mdebug：基于React开发的移动web调试工具

https 网络安全 html 网站 javascript

作者：thinkchen，腾讯 PCG 高级前端开发工程师 mdebug是腾讯新闻 TNTWEB 团队推出的基于React开发的新的web调试工具, 沉淀自腾讯新闻微信手 q 双插件多年的移动 web 开发实践中。相比 vconsole, eruda 等调试工具, 使用现代框架进行编写。整合 network 监控能力,提供了更丰富的调试能力和 api, 拥有更强大的网络捕获能力,接入和使用简单。本文将从背景, 架构,功能, 实现原理, 未来扩展点等角度全面介绍这款工具。一.背景调试一直是移动 we

腾讯技术工程官方号

2021-09-03

8440

视频直播：实时数据可视化分析

云数据库 SQL Server https 网络安全云数据库 MySQL 数据库

作者：spiderwu，腾讯 CSIG 高级工程师 1 解决方案描述 1.1 概述本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析 BI 等，对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人员的地区分布、各级别会员统计、各模块打赏礼物情况、在线人数等。视频直播场景 1.2 方案架构及优势根据以上视频直播场景，设计了如下架构图：架构图涉及产品列表：流计算 Oceanus 私有网络 VPC 消息队列 CKafka 云数据库 My

腾讯技术工程官方号

2021-09-01

7870

gRPC 基础概念详解

node.js javascript api rpc https

作者：jasonzxpan，腾讯 IEG 运营开发工程师 gRPC (gRPC Remote Procedure Calls) 是 Google 发起的一个开源远程过程调用系统，该系统基于 HTTP/2 协议传输，本文介绍 gRPC 的基础概念，首先通过关系图直观展示这些基础概念之间关联，介绍异步 gRPC 的 Server 和 Client 的逻辑；然后介绍 RPC 的类型，阅读和抓包分析 gRPC 的通信过程协议，gRPC 上下文；最后分析 grpc.pb.h 文件的内容，包括 Stub 的能力、

腾讯技术工程官方号

2021-07-12

4K0

腾讯蓝鲸智云社区版V6.0.3携手容器管理平台正式发布！

访问管理容器运维 https

2020年11月，我们正式推出了蓝鲸智云社区版V6.0 Beta版，4款新产品的亮相 + 7款产品的重大更新。今天我们为大家带来了社区版V6.0.3正式版以及期待已久的容器管理平台（BCS），快来部署体验吧！全新功能，等你来发现！社区版V6.0.3正式版亮点详解 01 权限中心功能概述：蓝鲸体系集中权限管理服务，细化到资源实例级别的访问权限控制【新增】操作审计【新增】分级管理员增加克隆功能【优化】分级管理员选择操作时增加推荐权限的快捷选择（需要周边系统配合） ... ...

腾讯技术工程官方号

2021-04-29

3K1

内核调试技巧--systemtap定位丢包原因

编程算法 https uml 网络安全

作者：wqiangwang，腾讯 TEG 后台开发工程师内核收发包，可能会由于backlog队列满、内存不足、包校验失败、特性开关如rpf、路由不可达、端口未监听等等因素将包丢弃。在内核里面，数据包对应一个叫做skb(sk_buff结构)。当发生如上等原因丢包时，内核会调用***kfree_skb***把这个包释放（丢掉）。kfree_skb函数中已经埋下了trace点，并且通过__builtin_return_address(0)记录下了调用kfree_skb的函数地址并传给location参数

腾讯技术工程官方号

2021-04-09

3.7K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态