首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签大模型部署

#大模型部署

一文读懂!生成式 AI 服务安全新国标:从技术要求到合规落地

老赵聊算法、大模型备案

2025 年 6 月 30 日,国家标准 GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》正式发布,作为《生成式人工智能服务管理暂...

4000

海外炸锅、我亲测上手的文心开源,凭什么让全球开发者疯狂?

小波波

以下是为您撰写的1500字通俗解读文章,融合技术深度与真实体验,突出文心4.5的核心突破与开发者价值:

2200

学霸o1打不过人气王Yi-Lightning?揭秘竞技场逆序之谜

AGI-Eval评测社区

在当前大语言模型(LLMs)的评估领域,一个引人深思的“榜单逆序”现象正在显现。例如,AGI-Eval 与同济大学合作构建的 Arena 显示,国内开源模型零一...

2000

Claude Duck:轻松部署 Claude Code,快速上手,无需复杂配置(教程)

PoloaiAPI

Claude Code 是一款专为编写代码而设计的智能助手,能够帮助开发者用自然语言生成代码,几乎不需要任何学习成本。只需简单的对话,Claude Code 就...

15610

局域网本地部署大模型ChatBot,支持新用户注册,多模型同时会话

Ai学习的老章

我最近高频使用的是Open WebUI,它不但解决以上问题,还有很多管理员级功能,我把它它<mark style="background: #FFB86CA6;...

9710

【大模型学习 | CLIP 原理&实现】

九年义务漏网鲨鱼

🔴 目前的图像数据存在着质量低、数据量不足的情况,例如 ① MS-COCO 虽然是高质量的标注数据,但也只有十万张图像,在目前的视觉系统来说属于小数据量; ② ...

19110

🚀 KaLM-Embedding-V2: 小模型,大能量!重新定义高效文本嵌入

Yuki121

在当今由大型语言模型(LLM)驱动的时代,检索增强生成(RAG)技术已成为提升模型性能的关键 。然而,一个强大的RAG系统的核心瓶颈,往往在于其检索模块的基石—...

10520

【大模型学习 | LORA 原理&实现】

九年义务漏网鲨鱼

在更新过程中保留原有的参数不变为$W_0$,引入$\bigtriangledown W = BA$, 同时与输入$x$ 相乘得到:

6910

【大模型学习 | BERT 量化实战(2) 】

九年义务漏网鲨鱼

🔴 在量化过程中,发现无法采用export量化,但是 Eager Mode 成功了, Eager Mode 只对线性层进行了量化,而没有对embedding层...

6210

给Javaer看的大模型开发指南|得物技术

得物技术

伴随着大模型的性能提升、成本下降,在Web在线对话场景以外,大模型也越来越多的被集成到传统业务场景。

10410

【大模型学习 | BERT 量化实战(1)】

九年义务漏网鲨鱼

👉 这种量化方式虽然简单,但存在一个明显的问题,这是方式是 HuggingFace 基于 bitsandbytes 库 实现的轻量量化方式,背后用的是:

11010

花了50 美元,测试104个量化大模型大海捞针能力,Qwen3_14B太惊艳了

Ai学习的老章

作者在 H·G·威尔斯的《时间机器》中插入了几段荒谬对话,测试文本长达 1 万词元(约覆盖小说前 5 章内容),并附带简短系统提示要求大模型定位这些荒谬对话并复...

6400

跑模型被挤了?立即查看服务器GPU/CPU占用,别再误杀他人进程!

程序元元

但抱怨归抱怨,作为一名有素质的“共享玩家”,学会在自己跑模型前,先看看服务器上有没有别人在跑,以及如何友好地处理资源冲突,这应该是所有人应该最先学习的!

34510

20GB 内存,本地运行 DeepSeek-R1-0528

Ai学习的老章

Reddit 看到一个帖子,探讨如何极限情况下运行 DeepSeek-R1-0528

19210

全球实时语音交互AI产品大比拼!阶跃AI和豆包问鼎,超越GPT-4o!

AGI-Eval评测社区

去年 5 月,OpenAI 发布全模态 AI 模型 GPT-4o,凭借实时处理文本、图像、音频输入的强大功能,以及像电影《Her》中一样媲美人类对话的响应速度、...

17610

​【大模型学习 | 量化】pytorch量化基础知识(1)

九年义务漏网鲨鱼

14510
领券