发布

喔家ArchiSelf

一个20多年的老码农 一个半吊子全栈工匠
专栏成员
348
文章
426560
阅读量
43
订阅数
架构设计过程中的10点体会
在软件工程领域,任何脱离实际业务需求的架构设计都是一种不负责任的行为,甚至可以称之为"技术层面的形式主义"。这种设计倾向往往表现为过度追求技术新颖性、盲目采用复杂架构模式,或者为了架构而架构的设计理念。很多技术债务也是由于架构设计与业务需求脱节造成的。
半吊子全栈工匠
2025-03-03
190
解读DeepSeek-R1
DeepSeek-R1 并不是从零开始训练的。它从一个比较强大LLM (DeepSeek-V3-base)开始,进而成为一个推理大模型。为了做到这一点,使用了强化学习(RL),当 LLM 做了一些有益于推理的事情时,进行奖励,否则进行惩罚。
半吊子全栈工匠
2025-02-25
2050
DeepSeek 到底用了多少GPU呢?
【引子】近来,大家一直在谈论 DeepSeek R1,即 671B 的参数巨兽。如果得到这样的一个大模型,到底花费了600 万美元还是2.48 亿美元呢?到底用了多少张GPU呢?
半吊子全栈工匠
2025-02-10
2.3K0
性能优化之动态加载
在过去近三十年的职业生涯里,有几年专注于运行时环境的开发与实现。在runtime中,动态加载技术是其中的基石之一。动态加载技术是指在系统运行过程中,根据需要把程序和数据从外存或网络加载到内存中的过程。其中,lazy loading(懒加载),也被称为延迟加载,是动态加载技术的一种常见实现方式。
半吊子全栈工匠
2025-01-20
1050
性能约定:API 限速
速率限制是一种关键的控制机制,用于管理 API 的请求流,非常类似于调节器。速率限制不仅仅是控制请求的总数,它还关系到如何以及在哪里应用这些限制。根据 API 的需要,可以根据各种因素(如用户 ID、 IP 地址或特定类型的 API 调用)来实现速率限制。
半吊子全栈工匠
2025-01-13
1130
微秒级高性能网络初探
如果我们的预期是将网络延时从10ms 降低到1ms,那么应该先分析这些时延的具体构成,很有可能瓶颈并不是网络传输;如果目标是将网络延时降低到微秒级或者百微秒级,那么我们才可能使用到高性能网络,例如RDMA技术。
半吊子全栈工匠
2025-01-07
1130
大模型应用的10个架构挑战
ChatGPT 从正式发布到拥有1亿用户仅仅用了5天的时间,基于大型语言模型(简称大模型,或基础模型)的应用给软件行业乃至整个社会带来巨大的影响。作为一名软件系
半吊子全栈工匠
2024-12-24
5750
大模型应用系列:从MLOps到LLMOps
【引子】在IT领域中,DevOps 是软件工程效能的重要方法论以及工具集, 在人工智能领域同样如此。
半吊子全栈工匠
2024-12-23
1380
WEB语义化的新探索:浅析LLMs.txt
【引】有人迷恋使用大模型生成各种有趣的内容, 有人沉醉于大模型相关技术的探索,没有对错,只在于你的乐趣所在。
半吊子全栈工匠
2024-12-19
1770
浅析面向场景的大模型应用框架选择
【引】人们经常用“具体问题具体分析”来适应不确定性,工匠的思维是对问题进行分类,然后尝试是否存在通用的解法,可能不是最优的解,但肯定是一个可用的解。 对于大模型应用而言, 也是如此。
半吊子全栈工匠
2024-12-09
1700
解读小模型——SLM
【引】如果希望从文献途径了解一个新的领域,该领域的相关survey 论文可能是一个较好的切入点,对于日新月异的AI领域尤其如此。”Small Language Models: Survey, Measurements and Insights”一文(https://arxiv.org/pdf/2409.15790)或许可以帮助我们更好地了解SLM。
半吊子全栈工匠
2024-12-02
2660
解读GraphRAG
RAG 结合了大型语言模型和信息检索模型的力量,允许它们用从大量文本数据中提取的相关事实和细节来补充生成的响应。事实证明,这种方法在提高模型输出的实际准确性和总体质量方面是有效的。
半吊子全栈工匠
2024-11-25
3310
初探Ranking系统的离在线满意度评估
【引子】在上周发布了《大模型应用系列:从Ranking到Reranking》之后, 有AI 产品经理问我,如何评估Ranking 系统的性能呢? 再进一步,如何评估RAG系统的性能呢? 老码农整理了一下在搜索引擎方面的感受,遂成此文。
半吊子全栈工匠
2024-11-18
1040
大模型应用系列:从Ranking到Reranking
【引子】Ranking 和Reranking又是一个NLP 处理中的传统技术, 那么在大模型应用中又起到怎样的作用呢?
半吊子全栈工匠
2024-11-11
2620
大模型应用系列:Query 变换的示例浅析
【引】NLP中的经典组件在大模型应用中还有效么?大模型对自然语言处理中的典型任务有什么影响么?
半吊子全栈工匠
2024-11-07
1720
初探大模型压缩
【引】感谢大家对联想AIPC的关注!大模型在智能终端上应用使AI更方便地服务于我们的工作和生活,《从苹果智能看端上大模型应用》为我们提供了参考。
半吊子全栈工匠
2024-11-07
1180
解读向量索引
向量嵌入是从图像、文本和音频等数据源转换而来的数字表示,旨在通过为每个项目创建一个数学向量来捕捉其语义或特征。这种表示方式使得计算系统更容易理解这些数据,并且与机器学习模型兼容,从而能够识别不同项之间的关系和相似性。
半吊子全栈工匠
2024-11-07
2990
雕虫:如何确定Java线程池的大小
在 Java 中,创建线程会产生显著的成本。创建线程消耗时间,增加请求处理的延迟,并且涉及 JVM 和操作系统的大量工作。为了减轻这些开销,需要使用线程池。本文将深入探讨确定理想线程池大小的技巧。
半吊子全栈工匠
2024-11-07
1030
解读知识图谱的自动构建
‍【引】在AI领域, 知识系统过时了么?在《大模型应用的10种架构模式》中, 知识图谱与大模型的结合是一种重要的应用方式。知识图谱可以辅助大模型应用的推理,大模型也可以辅助知识图谱的构建,二者是可以相辅相成的。在国庆假期中,读了一篇论文“A comprehensive survey on Automatic Knowledge graph Construction”(https://arxiv.org/abs/2302.05019),整理成文。
半吊子全栈工匠
2024-11-07
1670
解读文本嵌入:语义表达的练习
【引子】近来在探索并优化AIPC的软件架构,AI产品经理关于语义搜索的讨论给了自己较多的触动,于是重新梳理嵌入与语义的关系,遂成此文。
半吊子全栈工匠
2024-11-07
1060
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档