首页
学习
活动
专区
圈层
工具
发布
首页标签大模型部署

#大模型部署

现在MCP很火,请问有什么好的数据采集MCP可以选择吗?

New Boy热爱技术,好好生活
最近刚好用了一款专门用来采集数据的mcp服务,我是在claude code配置的bright data mcp,好像是亮数据开发的mcp服务,它之前专门做数据采集api和ip代理的,相对比较专业吧。 这个mcp用下来有4个功能比较不错,第一是搜索功能,可以调用直接搜索谷歌并返回搜索数据;第二是采集网页,能够采集整个网站所有的页面,就非常强了;第三是访问查看各种网站公开内容,而且内置了解锁服务,不需要自己去应对反爬虫机制;第四能实现浏览器自动化,可以设置prompt,让mcp自己去自动化操作浏览器完成任务。... 展开详请

微服务与大模型之间的关系?

王新栋《架构修炼之道》书籍作者,“程序架道”公众号作者,脚踏实地,做一个不飘的架构师。
微服务与大模型之间是 ​​“架构”与“智能”的共生关系​​,二者结合能构建出高性能、高可用的现代化AI应用系统。微服务架构为庞大而复杂的大模型提供了理想的部署和运行环境,而大模型则作为核心能力组件嵌入到微服务中,驱动业务智能化。 其核心价值体现在三个层面: ​​架构支撑​​:大模型是​​资源密集型​​应用,对计算资源(如GPU)需求极高,且不同场景(如实时对话与批量生成)对延迟和吞吐的要求截然不同。微服务通过​​按业务场景垂直拆分​​(如拆分为智能推荐服务、内容生成服务),使每个服务能独立选择最适合的模型、资源类型和扩展策略,实现精准的资源隔离与弹性伸缩,避免资源浪费。 ​​智能赋能​​:微服务架构强调​​模块化​​和​​解耦​​。可以将大模型的推理能力封装成独立的​​模型服务​​(如通过FastAPI提供标准化API),与处理业务逻辑的​​业务服务​​分离。这使得模型升级、版本更迭(如从GPT-3.5切换到GPT-4)可以独立进行,不影响业务代码,极大提升了迭代效率和系统稳定性。 ​​实战协同​​:在具体实践中,通常采用 ​​“大模型+小模型”​​ 的混合模式。通用大模型(如LLaMA)负责复杂的语言理解和生成,而针对特定任务(如订单查询、风控)训练的​​专业小模型​​则处理高精度、高实时性的需求。这种组合在保证能力的同时,兼顾了资源效率、专业性和安全性。 同时,​​API网关​​负责统一的流量调度、鉴权和限流,确保高并发下的系统稳定。 微服务与大模型的关系,可理解为用微服务的“弹性骨架”承载大模型的“智能大脑”,二者协同是构建高效、可靠且易于演进的AI应用的必然选择。... 展开详请
微服务与大模型之间是 ​​“架构”与“智能”的共生关系​​,二者结合能构建出高性能、高可用的现代化AI应用系统。微服务架构为庞大而复杂的大模型提供了理想的部署和运行环境,而大模型则作为核心能力组件嵌入到微服务中,驱动业务智能化。 其核心价值体现在三个层面: ​​架构支撑​​:大模型是​​资源密集型​​应用,对计算资源(如GPU)需求极高,且不同场景(如实时对话与批量生成)对延迟和吞吐的要求截然不同。微服务通过​​按业务场景垂直拆分​​(如拆分为智能推荐服务、内容生成服务),使每个服务能独立选择最适合的模型、资源类型和扩展策略,实现精准的资源隔离与弹性伸缩,避免资源浪费。 ​​智能赋能​​:微服务架构强调​​模块化​​和​​解耦​​。可以将大模型的推理能力封装成独立的​​模型服务​​(如通过FastAPI提供标准化API),与处理业务逻辑的​​业务服务​​分离。这使得模型升级、版本更迭(如从GPT-3.5切换到GPT-4)可以独立进行,不影响业务代码,极大提升了迭代效率和系统稳定性。 ​​实战协同​​:在具体实践中,通常采用 ​​“大模型+小模型”​​ 的混合模式。通用大模型(如LLaMA)负责复杂的语言理解和生成,而针对特定任务(如订单查询、风控)训练的​​专业小模型​​则处理高精度、高实时性的需求。这种组合在保证能力的同时,兼顾了资源效率、专业性和安全性。 同时,​​API网关​​负责统一的流量调度、鉴权和限流,确保高并发下的系统稳定。 微服务与大模型的关系,可理解为用微服务的“弹性骨架”承载大模型的“智能大脑”,二者协同是构建高效、可靠且易于演进的AI应用的必然选择。

请问联通在应用大模型实践有哪些坑和经验?

大模型开发,需要搜索能力么?

在服务器上用ollama部署我的模型之后,效果差距很大是为什么?

腾讯云的哪些产品都应用了什么大模型?

腾讯云知识引擎:混元大模型、DeepSeek-R1 ——企业知识问答、客服系统优化 腾讯元宝 :混元T1、DeepSeek-R1 —— 智能办公、代码生成 腾讯会议AI小助手:混元大模型 ——会议记录、实时问答 腾讯广告妙思平台:混元大模型——AI广告创意生成 腾讯健康:混元、DeepSeek-R1——医疗报告生成、用药建议... 展开详请

通过腾讯云私有化部署deepseek大模型,java调用方式?

腾讯云开发者社区

腾讯云 | 产品运营 (已认证)

腾讯云开发者社区官方账号
腾讯云部署DeepSeek大模型及Java调用方案 1. 部署DeepSeek大模型 腾讯云提供以下方式部署DeepSeek模型: 云应用快速部署:支持DeepSeek-R1推理模型,部署后依赖云资源(如云服务器、HAI算力)按实际消耗计费,参考文档:https://cloud.tencent.com/document/product/1689/115961。 大模型知识引擎:新建DeepSeek应用目前免费,后续可能收费,参考文档:https://cloud.tencent.com/document/product/1759/106152。 TI-ONE训练平台:可部署DeepSeek系列模型(如DeepSeek-V3、DeepSeek-R1),支持API调用。参考文档:https://cloud.tencent.com/document/product/851/115962 2. Java调用方案 通过 腾讯云大模型知识引擎 提供的API调用DeepSeek模型: 获取API地址(如[DeepSeekAPI](https://cloud.tencent.com/document/product/1772/115963)[3]),使用Java HTTP客户端(如OkHttp、Apache HttpClient)发送请求。 示例代码(伪代码): // 使用HTTP POST请求调用API String apiUrl = "YOUR_DEEPSEEK_API_ENDPOINT"; String requestBody = "{\"prompt\":\"你的输入文本\"}"; // 发送请求并处理响应 3. 计费说明 云应用/云服务器:按小时计费,关机后仅收磁盘费用。 大模型知识引擎:当前免费,后续可能收费。 TI-ONE平台:未明确提及,建议查看。 4. 本地模型部署到腾讯云 TI-ONE训练平台支持自定义模型部署,可将本地训练的模型上传至平台并部署。 需参考TI平台文档完成模型格式转换和部署流程。... 展开详请
腾讯云部署DeepSeek大模型及Java调用方案 1. 部署DeepSeek大模型 腾讯云提供以下方式部署DeepSeek模型: 云应用快速部署:支持DeepSeek-R1推理模型,部署后依赖云资源(如云服务器、HAI算力)按实际消耗计费,参考文档:https://cloud.tencent.com/document/product/1689/115961。 大模型知识引擎:新建DeepSeek应用目前免费,后续可能收费,参考文档:https://cloud.tencent.com/document/product/1759/106152。 TI-ONE训练平台:可部署DeepSeek系列模型(如DeepSeek-V3、DeepSeek-R1),支持API调用。参考文档:https://cloud.tencent.com/document/product/851/115962 2. Java调用方案 通过 腾讯云大模型知识引擎 提供的API调用DeepSeek模型: 获取API地址(如[DeepSeekAPI](https://cloud.tencent.com/document/product/1772/115963)[3]),使用Java HTTP客户端(如OkHttp、Apache HttpClient)发送请求。 示例代码(伪代码): // 使用HTTP POST请求调用API String apiUrl = "YOUR_DEEPSEEK_API_ENDPOINT"; String requestBody = "{\"prompt\":\"你的输入文本\"}"; // 发送请求并处理响应 3. 计费说明 云应用/云服务器:按小时计费,关机后仅收磁盘费用。 大模型知识引擎:当前免费,后续可能收费。 TI-ONE平台:未明确提及,建议查看。 4. 本地模型部署到腾讯云 TI-ONE训练平台支持自定义模型部署,可将本地训练的模型上传至平台并部署。 需参考TI平台文档完成模型格式转换和部署流程。

TIONE部署deepseekAPI上传文件接口调用?

目前腾讯云有哪些产品支持部署ds?怎么选择决策?

LucianaiB

腾讯云TDP | 宣传大使 (已认证)

总有人间一两风,填我十万八千梦。
您可以根据需求选择不同的部署方案,如Cloud Studio适合快速体验,TI平台适合企业级服务,具体请参考腾讯云官方文档以获取详细部署教程:[腾讯云大模型部署指南](https://cloud.tencent.com/document/product/1759/116005)。回答不易,如果对您有帮助的话,可以帮忙采纳一下。谢谢。... 展开详请
领券