modular

读书有三到：谓心到、眼到、口到。——朱熹

https://www.modular.com/

在linux中运行

curl -s https://get.modular.com | sh -

MAX 提供了一个统一且可扩展​​的平台，其中包括将低延迟、高吞吐量的 AI 推理管道部署到生产中所需的一切。

无需任何代码即可对任何模型进行基准测试

使用简单的命令行工具通过 MLPerf 执行 MAX Engine 中的任何模型。

使用 Mojo 编写自定义操作

为您的模型创建自定义操作，并与图表的其余部分一起进行优化。

在 Triton 中启动推理服务

在容器中尝试 MAX Serving 并响应来自 HTTP/gRPC 客户端的推理请求。

编写使用 Python 的 Mojo 代码

了解如何编写与 NumPy 和 Matplotlib 等 Python 包互操作的 Mojo 代码。

尝试 Llama2 或稳定扩散

查看我们使用各种模型运行推理的代码示例。

在浏览器中开始使用 Mojo 进行编码

请访问此网站内置的 Mojo 编码游乐场。没有什么可安装的。

从 Python 运行现有模型

了解如何使用 PyTorch、TensorFlow 或 ONNX 中的模型运行推理。

在 Mojo 中构建推理图

了解如何使用 MAX Graph API 在 Mojo 中构建高性能推理图。