腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

charlieroro

专栏作者

229

文章

339181

阅读量

32

订阅数

LLM 模型数据搜索索引

本文介绍了RAG以及RAG pipeline的整个流程，包括请求转换、路由和请求构造、索引和检索、生成和评估等，其中引用了大量有价值的论文。

2024-04-02

2130

矢量数据库与LLM的集成：实践指南

数据库模型实践数据 LLM

通常，LLM会在各种各样的数据上进行训练，这使它们具有广泛的理解能力，但可能会导致在特定的知识领域存在差距。有时，它们甚至可能产生与目标无关或带有偏见的信息——这是从广阔但未经筛选的web学习的副产品。为了解决该问题，我们引入了向量数据库(Vector Database)的概念。这些数据库以一种称为"向量嵌入"的独特格式存储数据，可以让LLMs掌握和使用的信息更连贯和准确。

2024-03-16

1010

2024年大语言模型的微调

迁移学习工具模型数据优化

一个LLM的生命周期包含多个步骤，下面将讨论这个周期中最活跃、最密集的部分之一 -- fine-tuning(微调)过程。

2024-03-08

1650

理解LLMOps: Large Language Model Operations

数据 model 工具基础模型

本文首先解释了新术语"LLMOps"及其背景，然后讨论使用LLMs和传统ML模型构建AI产品的不同之处，并基于这些不同点总结出MLOps和LLMOps的差异。最后我们将讨论在不久的将来，LLMOps将会发生什么样的变化。

2024-03-06

850

nftables用法介绍

集合数据数据类型字符串 ip

Kubernetes 1.29版本中已经将nftables作为一个featureGates，本文简单整理了nftables的用法，便于后续理解kubernetes的nftables规则。文末给出了使用kubeadm部署启用nftables featureGates的配置文件。

2024-01-31

2060

ELK运维文档

配置索引运维 elk 集群

用于查看Node级别的基本信息，选参数为pipelines、os和jvm，如下查看基本的os和jvm信息：

2024-01-26

2880

限速器算法

队列流量日志事件算法

这种方式可以缓解突发流量对系统的影响，缺点是在流量突发时，由于队列中缓存了旧的请求，导致无法处理新的请求。而且也无法保证请求能够在一定时间内处理完毕。令牌桶不会缓存请求，它通过颁发令牌的方式来允许请求，因此它存在和漏桶算法一样的问题。

2023-12-28

1640

Roaring bitmaps

存储 container 集合论文数组

最近看一篇文章，里面涉及到使用roaring bitmaps来推送用户广告并通过计算交集来降低用户广告推送次数。本文给出roaring bitmaps的原理和基本用法，后续给出原文的内容。

2023-12-26

1530

平稳扩展：可支持RevenueCat每日12亿次API请求的缓存

api 缓存服务器客户端数据

缓存系统由多个配置了大量ram和网络容量的服务器组成，为了实现快速检索，将数据存储到内存或闪存中。缓存服务器是key-value类型的，且大部分是memcached。为了保证快速且简易，服务器之间通常不会共享任何内容，即一个key-value存储不会依赖其他系统，由客户端来选择使用哪个服务器来存储或检索数据。客户端通常使用哈希对不同的key进行分片，并将其分布到对应的缓存服务器上，以此来分发数据并达到负载均衡。

2023-11-29

1570

Kubernetes 中使用consul-template渲染配置

渲染 kubernetes consul 服务配置

当前公司使用consul来实现服务发现，如Prometheue配置中的target和alertmanager注册都采用了consul服务发现的方式，以此来灵活应对服务的变更。但对于其他服务，是否也有一个通用的方式来使用consul管理配置文件？本文中描述如何使用consul-template来渲染配置文件。

2023-10-28

3580

如何在kubernetes中实现分布式可扩展的WebSocket服务架构

kubernetes 分布式 websocket 服务架构

How to implement a distributed and auto-scalable WebSocket server architecture on Kubernetes一文中虽然解决是WebSocket长连接问题，但可以为其他长连接负载均衡场景提供参考价值

2023-09-14

4760

Rendezvous hashing算法介绍

缓存服务器数据算法系统

Rendezvous hashing用于解决分布式系统中的分布式哈希问题，该问题包括三部分：

2023-09-10

3630

容器 ignite 镜像配置文件系统

Ignite是一个启动firecracker vm的引擎，它使用容器的方式承载了firecracker vm。目前项目处于停滞阶段，也比较可惜，通过阅读了解ignite的工作方式，学习到了很多，希望能借此维护该项目。

2023-08-17

6860

使用部分写时复制提升Lakehouse的 ACID Upserts性能

apache 内存数据索引性能

译自：Fast Copy-On-Write within Apache Parquet for Data Lakehouse ACID Upserts

2023-07-20

2000

使用hashicorp Raft开发分布式服务

raft 集群接口开发数据

开发raft时用到的比较主流的两个库是Etcd Raft 和hashicorp Raft，网上也有一些关于这两个库的讨论。之前分析过etcd Raft，发现该库相对hashicorp Raft比较难以理解，其最大的问题是没有实现网络层，实现难度比较大，因此本文在实现时使用了hashicorp Raft。

2023-07-09

3540

Booking.com如何在毫秒内搜索数百万个地点

com 博客地图队列搜索

译自：How Booking.com Searches Through Millions of Locations in Milliseconds

2023-05-27

4770

解决pod健康检查问题

tcp 连接内核日志异常

引自：Solving the mystery of pods health checks failures in Kubernetes。原文中的某些描述并不清晰，本文作了调整。

2023-05-27

2160

etcd：增加30%的写入性能

存储 etcd 集群数据性能

本文最终的解决方式很简单，就是将现有卷升级为支持更高IOPS的卷，但解决问题的过程值得推荐。

2023-05-10

6400

使用go的并发性来解决Hilbert酒店问题

go channel goroutine key

译自：Designing for Concurrency: the Hilbert’s Hotel Problem in Go，本文使用go的并发性来解决Hilbert酒店问题。本文比较有意思的是它对问题的描述很吸引人，在看完文字描述之后，代码实现逻辑也基本顺理成章，当然代码本身的实现也相当优雅。

2023-03-17

2480

解决golang 的内存碎片问题

sql 数据库 go

解决golang 的内存碎片问题本文译自Why I encountered Go memory fragmentation? How did I resolve it?，作者通过分析golang的堆

2023-03-07

1.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态