Rust 与 AI | 动态两则

Parseable：用Rust编写的日志分析系统新版发布

Parseable[1] 新版本现在包含 LLM / OpenAI集成[2]，为日志数据生成上下文SQL查询。

Parseable 是一个为现代云原生时代构建的日志分析平台。Parseable 使用无索引机制来组织和查询数据，实现低延迟和高吞吐量的数据摄取和查询。Parseable 在类似的数据摄入吞吐量下，内存消耗降低了约80%，CPU消耗降低了约50%。

传统上，日志被视为一个文本搜索问题。日志的数量并不多，数据的摄取或存储也不是真正的问题。这导致了今天的情况，即所有的日志平台主要都是文本搜索引擎。

但是随着日志数据呈指数级增长，如今的日志数据挑战涉及到更多的内容——数据摄取、存储和观测，全部都是在大规模的情况下。这也是 Parseable 的构建动机。

关于 HuggingFace Candle ML 框架的最新进展

大概一个半月前，Hugging Face 官宣了极简机器学习框架 candle[3] 。自那以来，官方一直致力于添加各种最新的模型，并改进框架，以高效地支持必要的功能。截止目前支持的模型包括：

• 大型语言模型：LLaMA，LLaMA v2，Falcon，Phi-v1.5，StarCoder。
• 量化模型与llama.cpp方法：LLaMA，T5，Phi-v1.5。
• 图像生成：稳定扩散（Stable Diffusion, v1.5、v2.1和XL），Wuerstchen。
• 计算机视觉：DINOv2，yolo-v3，yolo-v8，Segment-Anything 模型。
• 语音转文字：Whisper。

candle 由纯 Rust 语言实现。纯 Rust 的一个巨大优势是模型可以直接在浏览器中基于 WASM 运行，这些模型可以通过此集合访问，用户可以在 Web 浏览器中尝试 Yolo、Whisper、Segment-Anything、T5、Llama2-c 等。

candle 的目标是让 Rust 在机器学习领域得到更广泛的应用！！！

案例

基于下面命令来尝试最近发布的 Phi-v1.5 LLM 的量化版本。

$ cargo run --example phi --release -- \
  --prompt "Explain how to find the median of an array and write the corresponding python function.\nAnswer:" \
  --quantized --sample-len 200

Explain how to find the median of an array and write the corresponding python function.
Answer: The median is the middle value in an array. If the array has an even number of elements, the median is the average of the two middle values.

def median(arr):
    arr.sort()
    n = len(arr)
    if n % 2 == 0:
        return (arr[n//2 - 1] + arr[n//2]) / 2
    else:
        return arr[n//2]

这将使用q4k量化模型，在CPU上进行非常快速的推理，同时生成非常好的文本。

candle 示例在本地跑会出现无法从 HuggingFace.co 网站下载资源的问题，这个测试下来唯一可行的办法应该是需要手工修改代码来使用本地资源了。后续有时间我会把 candle 的代码示例修改为支持本地配置文件可用。

这里只能放官方的图了

参考资料

[1]

Parseable: https://github.com/parseablehq/parseable

[2]

LLM / OpenAI集成: https://www.parseable.io/docs/llm

[3]

candle: https://github.com/huggingface/candle