AI 网关

原生的 AI API 网关

官方网站 | MCP 服务器快速入门 | Wasm 插件中心

英文 | 中文 | 日本語

什么是 Higress？

Higress 是一个基于 Istio 和 Envoy 的云原生 API 网关，可以通过 Go/Rust/JS 编写的 Wasm 插件进行扩展。它提供了数十个现成的通用插件和一个开箱即用的控制台（在此处尝试演示）。

核心使用场景

Higress 的 AI 网关功能支持所有国内外主流模型提供商。它还通过其插件机制支持托管 MCP（模型上下文协议）服务器，使 AI 代理能够轻松调用各种工具和服务。通过 openapi-to-mcp 工具，您可以快速将 OpenAPI 规范转换为远程 MCP 服务器进行托管。Higress 为 LLM API 和 MCP API 提供统一管理。

🌟 立即在 https://mcp.higress.ai/ 上尝试，亲自体验 Higress 托管的远程 MCP 服务器：

企业采用

Higress 诞生于阿里巴巴内部，旨在解决 Tengine 重载影响长连接服务以及 gRPC/Dubbo 负载均衡能力不足的问题。在阿里云内部，Higress 的 AI 网关功能支持核心 AI 应用，如通义百炼模型工作室、机器学习 PAI 平台以及其他关键 AI 服务。阿里云基于 Higress 构建了其云原生 API 网关产品，为大量企业客户提供 99.99% 的网关高可用性保证服务能力。

概述

• 快速入门
• 功能展示
• 使用场景
• 核心优势
• 社区

快速入门

Higress 只需 Docker 即可启动，方便个人开发者在本地搭建学习或构建简单站点：

# 创建工作目录
mkdir higress; cd higress
# 启动 higress，配置文件将写入工作目录
docker run -d --rm --name higress-ai -v ${PWD}:/data \
        -p 8001:8001 -p 8080:8080 -p 8443:8443  \
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

端口说明：

• 端口 8001：Higress UI 控制台入口
• 端口 8080：网关 HTTP 协议入口
• 端口 8443：网关 HTTPS 协议入口

所有 Higress Docker 镜像均使用 Higress 自己的镜像仓库，不受 Docker Hub 速率限制影响。 此外，镜像的提交和更新受到安全扫描机制（由阿里云 ACR 提供支持）的保护，使其在生产环境中使用非常安全。

对于其他安装方法，如 K8s 下的 Helm 部署，请参阅官方快速入门文档。

使用场景

• MCP 服务器托管：

  Higress 通过其插件机制托管 MCP 服务器，使 AI 代理能够轻松调用各种工具和服务。通过 openapi-to-mcp 工具，您可以快速将 OpenAPI 规范转换为远程 MCP 服务器。

  

  使用 Higress 托管 MCP 服务器的关键优势：

  • 统一的认证和授权机制

  • 细粒度的速率限制，防止滥用

  • 所有工具调用的全面审计日志

  • 丰富的可观测性，用于监控性能

  • 通过 Higress 的插件机制简化部署

  • 动态更新，无中断或连接丢失

    了解更多...

• AI 网关：

  Higress 使用统一协议连接到所有 LLM 模型提供商，具备 AI 可观测性、多模型负载均衡、令牌速率限制和缓存功能：

  

• Kubernetes ingress 控制器：

  Higress 可以作为功能丰富的 ingress 控制器，兼容 K8s 的 nginx ingress 控制器的许多注解。

  Gateway API 支持即将推出，并将支持从 Ingress API 平滑迁移到 Gateway API。

• 微服务网关：

  Higress 可以作为微服务网关，能够从各种服务注册中心发现微服务，如 Nacos、ZooKeeper、Consul、Eureka 等。

  它与 Dubbo、Nacos、Sentinel 等微服务技术栈深度集成。

• 安全网关：

  Higress 可以作为安全网关，支持 WAF 和各种认证策略，如 key-auth、hmac-auth、jwt-auth、basic-auth、oidc 等。

核心优势

• 生产级

  源自阿里巴巴内部产品，经过两年多的生产验证，支持每秒数十万请求的大规模场景。

  完全消除了 Nginx 重载引起的流量抖动，配置变更在毫秒内生效，对业务透明。特别适用于 AI 业务等长连接场景。

• 流式处理

  支持请求/响应体的真正完整流式处理，Wasm 插件可以轻松自定义处理 SSE（服务器发送事件）等流式协议。

  在 AI 业务等高带宽场景中，可以显著减少内存开销。

• 易于扩展

  提供丰富的官方插件库，涵盖 AI、流量管理、安全保护等常见功能，满足 90% 以上的业务场景需求。

  专注于 Wasm 插件扩展，通过沙箱隔离确保内存安全，支持多种编程语言，允许插件版本独立升级，实现网关逻辑的无损热更新。

• 安全易用

  基于 Ingress API 和 Gateway API 标准，提供开箱即用的 UI 控制台，WAF 保护插件、IP/Cookie CC 保护插件随时可用。

  支持连接 Let's Encrypt 自动签发和续期免费证书，可以在 K8s 外部部署，单条 Docker 命令即可启动，方便个人开发者使用。

社区

加入我们的 Discord 社区！这是您可以与 Higress 开发者和其他热情用户交流的地方。

致谢

Higress 离不开社区中项目的宝贵开源工作。我们特别感谢 Envoy 和 Istio。

相关仓库

• Higress 控制台: https://github.com/higress-group/higress-console
• Higress 独立版: https://github.com/higress-group/higress-standalone

贡献者

贡献者图表

星标历史

↑ 返回顶部 ↑