首页
学习
活动
专区
圈层
工具
发布
MCP广场 >详情页
氧元素网络抓取工具2026-10-22316分享添加福利群:解决AI开发者的「MCP实战痛点」
一个利用Oxylabs Web Scraper API的爬虫工具,能够灵活选择解析和渲染页面的选项,从而高效地从复杂网站中抓取和处理网页内容。
By oxylabs
2026-10-22316
github
详情内容

Oxylabs + MCP

Oxylabs MCP 服务器

连接AI模型与现实世界网络的桥梁:通过单一API从任何网站获取干净、结构化的数据


📖 概述

Oxylabs MCP服务器在AI模型与网络之间架起桥梁。它能够:

  • 抓取任何URL
  • 渲染JavaScript密集型页面
  • 提取并格式化内容供AI使用
  • 绕过反爬措施
  • 访问195+个国家的地区限制数据

🛠️ MCP工具集

Oxylabs MCP提供两组可独立或组合使用的工具:

Oxylabs网页抓取API工具

  1. universal_scraper:通用网站抓取工具
  2. google_search_scraper:谷歌搜索结果提取
  3. amazon_search_scraper:亚马逊搜索结果抓取
  4. amazon_product_scraper:亚马逊商品数据提取

Oxylabs AI工作室工具

  1. ai_scraper:AI驱动的URL内容抓取(JSON/Markdown格式)
  2. ai_crawler:基于提示的网站爬取(多页面Markdown/JSON格式)
  3. ai_browser_agent:基于提示的浏览器控制(返回Markdown/JSON/HTML/截图)
  4. ai_search:AI驱动的网络搜索(带内容提取)

✅ 先决条件

使用前请确保具备以下至少一项:

  • Oxylabs网页抓取API账户:获取账号(提供1周免费试用)
  • Oxylabs AI工作室API密钥:获取密钥(赠送1000积分)

📦 配置指南

环境变量配置

变量名 说明 默认值
OXYLABS_USERNAME 网页抓取API用户名
OXYLABS_PASSWORD 网页抓取API密码
OXYLABS_AI_STUDIO_API_KEY AI工作室API密钥
LOG_LEVEL 客户端日志级别 INFO

❗ 重要提示:如无对应凭证请删除环境变量占位符,保留占位值将导致工具无法使用。

多种配置方式

提供uvx/uv/Smithery等多种部署方案,支持Oauth2认证和参数直传。详细配置命令和JSON示例见原文。

📝 日志系统

通过notification/message事件提供工具调用详情,包含:

  • 任务创建参数
  • 任务状态更新
  • 错误信息反馈

🛡️ 许可证

采用MIT许可证 - 详见LICENSE文件。

关于Oxylabs

自2015年成立以来,Oxylabs作为市场领先的网络情报收集平台,始终遵循最高商业道德和合规标准,助力全球企业挖掘数据价值。

公司logo

由Oxylabs倾情打造。如果MCP为您节省了时间,欢迎给我们⭐

✨ 核心功能

全网站内容抓取 - 支持单页应用等复杂网站 - 完整Headless浏览器渲染 - 可选JS/HTML渲染模式 - 移动端/桌面端视口模拟
AI就绪数据 - 自动HTML转Markdown - 热门站点专用解析器
突破限制 - 绕过高级反爬系统 - 195+国家IP池轮换 - 复杂网站稳定抓取
跨平台支持 - 多平台兼容 - 灵活配置选项 - 直接对接AI模型
智能容错 - 全面错误处理 - 智能速率控制

为什么选择Oxylabs MCP? 🕸️ → 📦 → 🤖

当您对LLM说"总结关于GPT-5的最新Hacker News讨论"时,MCP默默完成了所有脏活:

MCP的核心价值 用户受益点
全球代理网络突破反爬 保持畅通无阻且匿名
Headless Chrome渲染 完美处理单页应用
HTML→JSON智能转换 直接输入向量数据库
热门站点专用解析器 一键获取目标数据

mcp名称:io.github.oxylabs/oxylabs-mcp

(说明:根据技术文档的命名惯例,mcp通常指"Module Control Protocol"或类似的技术组件名称,这里采用音译加意译的方式处理。io.github.oxylabs作为组织名称保留不译,符合开源项目命名规范。整体翻译保持了技术术语的准确性和格式的统一性。)

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档