腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯技术工程官方号的专栏

专栏作者

1089

文章

2414406

阅读量

887

订阅数

万字长文教你如何做出 ChatGPT

NLP 服务 https 网络安全神经网络强化学习

作者：monychen，腾讯 IEG 应用研究员简单来说，ChatGPT 是自然语言处理（NLP）和强化学习（RL）的一次成功结合，考虑到读者可能只熟悉其中一个方向或者两个方向都不太熟悉，本文会将 ChatGPT 涉及到的所有知识点尽可能通俗易懂的方式展现出来，有基础的同学可以选择性跳过一些内容。 GPT 的进化史本节的主要目的是介绍自然语言处理中语言模型的一些基础知识，理解语言模型到底在做什么。 GPT 所谓的 GPT(Generative Pre-trained Transformer)，其实是 G

腾讯技术工程官方号

2023-02-17

2.8K0

谷歌开源、高性能RPC框架：gRPC 使用体验

http https rpc 网络安全文件存储

作者：datumhu，腾讯 IEG 后开开发工程师在广告系统实践中，精排服务基于 gRPC 协议调用 TF-Serving 在线推理服务。相信很多业务已经使用过 gRPC 相关语言的框架进行服务调用，尤其是基于谷歌云的出海业务的服务调用更绕不开 gRPC，所以很有必要理解 gRPC 的原理。本文通过简要介绍抓包分析一次 gRPC 的调用过程，逐步认识 gRPC。概述 gRPC 是谷歌推出的一个开源、高性能的 RPC 框架。默认情况下使用 protoBuf 进行序列化和反序列化，并基于 HTTP/2 传输

腾讯技术工程官方号

2023-02-13

1.1K0

ClickHouse 查询优化详细介绍

https 网络安全文件存储存储 sql

作者：oliverdding，腾讯 CSIG 测试开发工程师你想要的 ClickHouse 优化，都在这里。 ClickHouse 是 OLAP（Online analytical processing）数据库，以速度见长[1]。ClickHouse 为什么能这么快？有两点原因[2]：架构优越列式存储索引数据压缩向量化执行资源利用关注底层细节但是，数据库设计再优越也拯救不了错误的使用方式，本文以 MergeTree 引擎家族为例讲解如何对查询优化。 ClickHouse 查询执行过程 ⚠️

腾讯技术工程官方号

2023-01-09

1.9K1

腾讯智能写作助手「文涌 (Effidit)」2.0发布

https 网络安全智能创作

四大模块上新：风格化的「文本续写」、知词懂句的「超级网典」、可解释的「智能纠错」、博古通英的「文本润色」。近日，腾讯 AI Lab 将智能创作助手文涌（Effidit）更新到了2.0版本（effidit.qq.com），帮助写作者更好地应对上述难题。新版本除了优化第一版[1,2]已有的功能之外，还带来了风格化文本续写、英文句子改写与扩写、现代文和文言文互译、词语推荐、跨语言例句推荐（中英）、可解释的英文纠错等新功能。新版文涌包含「文本补全」、「智能纠错」、「文本润色」、「超级网典」四个模块，其中「文本补

腾讯技术工程官方号

2022-12-21

7.5K0

ZooKeeper 核心通识

数据结构分布式 zookeeper https 网络安全

作者：mosun，腾讯 PCG 后台开发工程师文章分三部分展开陈述：ZooKeeper 核心知识、ZooKeeper 的典型应用实现原理、ZooKeeper 在中间件的落地案例。为了应对大流量，现代应用/中间件通常采用分布式部署，此时不得不考虑 CAP 问题。ZooKeeper（后文简称 ZK）是面向 CP 设计的一个开源的分布式协调框架，将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用，分布式应用程序可以基于它实现诸如数据发布/订阅、负

腾讯技术工程官方号

2022-11-30

7340

「递归」第三季Ep4：深耕源于热爱

编程算法安全网络安全

我们为什么叫「递归」 “递归” (recursion) 是一种在程序设计语言中被广泛使用的算法。它有两大特点，一是调用自己，二是化繁为简。我们当中那些优秀的技术人又何尝不是如此？他们以身作则，用实际行动影响身边的人，规范了流程、提高了效能，使整个团队从中得益。这就是我们「递归」栏目的初心，记录平凡腾讯技术人的不平凡。因为喜欢，她选择成为一名技术工程师；因为热爱，她选择深耕一线坚持了快20年。面对瞬息变化的互联网产业，不断推陈出新的新技术，技术工程师们是怎样让自己保持学习更新的呢？今天我们采访的是一位深

腾讯技术工程官方号

2022-11-11

3720

探秘 Web 水印技术

网站 css svg 网络安全图像处理

作者：fransli，腾讯 PCG 前端开发工程师 Web 水印技术在信息安全和版权保护等领域有着广泛的应用，对防止信息泄露或知识产品被侵犯有重要意义。水印根据可见性可分为可见水印和不可见水印（盲水印），本文将分别予以介绍，带你探秘 web 水印技术。可见水印最简单的水印一种比较常见的简单水印场景是给文章、表格加上 logo 水印，用以申明版权。这里想要的效果就是一个浅浅的 logo 平铺展示。实现起来也比较简单，只需制作一个半透明的 logo 图片，设为文章或者表格的背景图片即可。仅需一行 CS

腾讯技术工程官方号

2022-09-14

1.9K0

手写了个可能是Github性能最强的Go跳表

github git 开源 https 网络安全

作者：phongchen，腾讯 IEG 后台开发工程师 2022 年 3 月，广大人民期盼已久的支持的泛型的 go1.18 发布了。但是目前基于泛型的容器实现还不多。我实现了一套类似 C++中 STL 的容器和算法库。其中有序的 Map 选择用跳表来实现，并优化到了相当好的性能。在此分享一下优化的思路和心得，供大家参考借鉴，如果发现有错误也欢迎指出。一、背景首先为标题党致歉，不过确实没吹牛 😊。最近一年我所负责的业务系统中，用 Go 语言的实现的占了至少 70%的比例，因此 Review 了大量的 G

腾讯技术工程官方号

2022-09-02

1.2K0

了解 HTTP 看这一篇就够

https 网络安全缓存 SSL 证书

作者：yutingbai，腾讯 PCG 前端开发工程师 1. http的发展史在学习网络之前，了解它的历史能够帮助我们明白为何它会发展为如今这个样子，引发探究网络的兴趣。下面的这张图片就展示了“互联网”诞生至今的发展历程。 2. http是什么？ HyperTextTransferProtocol 直译为‘超文本传输协议' 超文本：指文字、图片、视频、音频等的混合体，比如最熟悉的html。传输：http是一个“双向协议”，传输的是请求方和响应方之间的数据，不限制请求方和响应方之间的角色，传递的过程中可

腾讯技术工程官方号

2022-08-26

8881

编程算法 https 网络安全单片机 c++

作者：kylinkzhang，腾讯 CSIG 后台开发工程师什么是协程我们可以简单的认为：协程就是用户态的线程，但是上下文切换的时机是靠调用方（写代码的开发人员）自身去控制的。同时，协程和用户态线程非常接近，用户态线程之间的切换不需要陷入内核，但部分操作系统中用户态线程的切换需要内核态线程的辅助。下面是一个简单的例子： void A() { cout << 1 << " "; cout << 2 << " "; cout << 3 << " "; } void B() {

腾讯技术工程官方号

2022-07-01

1.6K0

一致性 Hash 算法原理总结

缓存 node.js go https 网络安全

作者：kylinkzhang，腾讯 CSIG 后台开发工程师一致性 Hash 算法是解决分布式缓存等问题的一种算法，本文介绍了一致性 Hash 算法的原理，并给出了一种实现和实际运用的案例；一致性 Hash 算法背景考虑这么一种场景：我们有三台缓存服务器编号node0、node1、node2，现在有 3000 万个key，希望可以将这些个 key 均匀的缓存到三台机器上，你会想到什么方案呢？我们可能首先想到的方案是：取模算法hash（key）% N，即：对 key 进行 hash 运算后取模，N

腾讯技术工程官方号

2022-03-14

1.2K0

大规模 Node.js 网关架构设计与工程实践

缓存 http https 网络安全 node.js

作者：王伟嘉，腾讯云 CloudBase 前端负责人。本文是王伟嘉在 GMTC 2021 全球大前端技术大会（深圳站）上的演讲内容：《十亿级 Node.js 网关的架构设计与工程实践》。今天来开门见山地讲讲网关是一个怎么样的组件，网关在做什么事情。网关这个词其实到处都在用，它可以工作在硬件层面，也可以工作在网络层，还可以工作在应用层。网关快速入门网关在做什么？我们今天讲的实际上是一个工作在 HTTP 七层协议的网关，它主要做的有几件事情：第一，公网入口。它作为我们公有云服务的一个入口，可以把公有

腾讯技术工程官方号

2022-02-15

4680

提速 30%！腾讯TQUIC 网络传输协议

http https 网络安全 tcp/ip

作者：腾讯 sTGW-TQUIC 腾讯sTGW如何助力核心业务用户登录耗时降低30%，下载场景500ms内请求成功率从HTTPS的60%提升到90%，移动端APP在弱网、跨网场景下同样取得媲美正常网络的用户体验。腾讯核心业务用户登录耗时降低 30%，下载场景 500ms 内请求成功率从 HTTPS 的 60%提升到 90%，腾讯的移动端 APP 在弱网、跨网场景下取得媲美正常网络的用户体验。这是腾讯网关 sTGW 团队打造的 TQUIC 网络协议栈在实时通信、音视频、在线游戏、在线广告等多个腾讯业务

腾讯技术工程官方号

2021-12-01

3.1K0

开源监控系统 Prometheus 最佳实践

https 网络安全 go http

作者：jimmiehan(韩金明) , 腾讯PCG后台开发工程师, Prometheus/Thanos contributor Prometheus 是目前最流行的开源监控系统之一, 这里以我在基于 Prometheus 构建天机阁 2.0Metrics 子系统的实践谈一谈 Prometheus 的一些最佳实践, 最佳实践的理念是 Prometheus 系统简单稳定高效运行的关键。(注: 天机阁 2.0 是新一代云原生可观测性系统) 埋点思路最好将原始指标暴露给 Prometheus, 而不是在应用

腾讯技术工程官方号

2021-11-17

1.6K0

指标统计：基于流计算 Oceanus(Flink) 实现实时 UVPV 统计

kafka https 网络安全云数据库 Redis

作者：吴云涛，腾讯 CSIG 高级工程师导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 Flink SQL 来实现这些指标的统计会更加便捷。一、解决方案描述 1.1 概述本方案结合本地自建 Kafka 集群、腾讯云流计算 Oceanus（Flink)、云数据库 Redis 对博客、购物等网站 UV、PV 指标进行实时可视化分析。分析指标包含网站的独立访客数量（UV ）、产品的点击量（PV）、转化率（

腾讯技术工程官方号

2021-11-05

8840

实时监控：基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

实时监控腾讯云可观测平台流计算 Oceanus https 网络安全

---- 作者：吴云涛，腾讯 CSIG 高级工程师本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现，通过实时采集并分析云服务器（CVM）及其 App 应用的 CPU和内存等资源消耗数据，以短信、电话、微信消息等方式实时反馈监控告警信息，高效地保障系统稳健运行。运用云化的 Kafka、Flink、ES 等组件，大大减少了开发运维人员的投入。一、解决方案描述（一）概述本方案结合腾讯云 CKafka、流计算 Oceanus (Flink)、 Elasticsearch、Promethe

腾讯技术工程官方号

2021-10-14

2.1K0

Mdebug：基于React开发的移动web调试工具

https 网络安全 html 网站 javascript

作者：thinkchen，腾讯 PCG 高级前端开发工程师 mdebug是腾讯新闻 TNTWEB 团队推出的基于React开发的新的web调试工具, 沉淀自腾讯新闻微信手 q 双插件多年的移动 web 开发实践中。相比 vconsole, eruda 等调试工具, 使用现代框架进行编写。整合 network 监控能力,提供了更丰富的调试能力和 api, 拥有更强大的网络捕获能力,接入和使用简单。本文将从背景, 架构,功能, 实现原理, 未来扩展点等角度全面介绍这款工具。一.背景调试一直是移动 we

腾讯技术工程官方号

2021-09-03

7910

视频直播：实时数据可视化分析

云数据库 SQL Server https 网络安全云数据库 MySQL 数据库

作者：spiderwu，腾讯 CSIG 高级工程师 1 解决方案描述 1.1 概述本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析 BI 等，对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人员的地区分布、各级别会员统计、各模块打赏礼物情况、在线人数等。视频直播场景 1.2 方案架构及优势根据以上视频直播场景，设计了如下架构图：架构图涉及产品列表：流计算 Oceanus 私有网络 VPC 消息队列 CKafka 云数据库 My

腾讯技术工程官方号

2021-09-01

7380

安全左移理念，鹅厂 DevSecOps 如何实践？

安全 api grep 网络安全 sql

作者：yuyangzhou、dexyfruan，腾讯 TEG 应用运维安全工程师引子随着 DevOps 模式的落地，快字当头。研效提速也意味着出现安全漏洞的数量和概率随之上涨。过去安全风险的管控主要依赖于 DAST 类技术，即：采用黑盒测试技术，对待检查目标发起含检查用例的请求。DevOps 给这一模式带来了挑战，安全检查速度慢、周期长，容易给业务带来干扰，一定程度上有阻碍业务持续交付的风险。另据 Capers Jones 的研究结论：解决缺陷的成本，在研发流程中越靠后越高。因此，安全机制的左

腾讯技术工程官方号

2021-05-31

8470

一通电话被骗走4年生活费，她决定用技术守护千万用户

网络安全编程算法

什么是「递归」 “递归” 是在程序设计语言中被广泛使用的算法。它有两大特点：调用自己、化繁为简。如那些优秀的技术人，用行动贡献自身力量，规范流程、提高效能，使团队受益。这是「递归」栏目的初心，记录平凡技术人的不平凡。每当网络诈骗出现在新闻里，常伴随触目惊心的数字。它离我们并不远。腾讯有这么一位技术人，就曾是其中的受害者。这段经历，改变了她的发展规划：决心用所学技术在网络安全领域发光发热。「递归」第二季第1集，为你揭晓她的励志故事。彦哥，腾讯CSIG安全算法工程师，主攻自然语言处理和图像识别，在

腾讯技术工程官方号

2021-05-24

3220

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态