【Rust日报】crabml，使用 Rust 重写 GGML

项目 - crabml，使用 Rust 重写 GGML

crabml 是一个正在进行中的实验性项目，相当于是使用 Rust 重新实现 GGML。目前它已经支持推理 Q8_0 量化的Llama 3B模型，与 ggml 性能差距仅有 1token/s 。

其设计目标是：

• 专注于推理。
• 将张量运算限制为 LLM 推理所需的最低限度。
• 在廉价硬件上具有足够快速的推理能力。
• 从实现之初就采用 mmap() 。
• SIMD 实现的优先级大于 GPU 实现。

crabml 的作者 f 叔 将会在周日（3 月 3 日）晚 7 点分享关于 Rust 和 AI 推理相关的内容，欢迎届时访问 https://meet.google.com/qnc-opkf-aft 参与。

GitHub - crabml/crabml: https://github.com/crabml/crabml

文章 - 为 WASI 0.2 设计异步运行时

来自 Yoshua Wuyts 的文章，著名的 Rust 开发者，async-std 的合作者之一，并且刚刚为 WASI 0.2 完成了一个可以工作的、最小的、正确的异步运行时的实现。

在这篇文章中详细介绍了作者如何为 WASI 0.2 实现这一运行时的。作者是第一个编写这一特定用途的代码的人，这些经验值得来自 Smol、Monoio、Glommio 或 Tokio 社区或者对 Rust 异步运行时设计和实现感兴趣的人学习。

Designing an Async Runtime for WASI 0.2: https://blog.yoshuawuyts.com/building-an-async-runtime-for-wasi/

Week In Rust 536

新一期的 Rust 周报速递发布，快来看看有哪些内容你曾经关注过 :)

This Week in Rust 536: https://this-week-in-rust.org/blog/2024/02/28/this-week-in-rust-536/