瑞莎星睿 O6 (Radxa Orion O6) AI PC运行ollama原创

哈喽，各位小伙伴大家好，我们今天一起在这个AI PC上去使用欧拉玛，然后去拉一下千问34B的一个模型，然后我们来去看一下它的效果是如何的。那我现在先去登录一下我们的这个PC，通过SSH方式登录。如果比较小的话，缩放一下。这样我把字打大一些，OK, 那现在我们。登录登录好之后呢，然后我我们之前是已经用那个呃拉玛已经装过了，然后我们今天接着试一试给大家看一下，就是它的一个运行。看一下目录CPCP，然后的下边有一个OK。

然后我们这边下载的模型的话，使用的是是魔塔，嗯，这边已经下载过了。呃，3个模型看一下啊，应该是在上层目录。还再往里层上一层磨刀子，然后前问这个，这个下边呢，就是有三个模型，分别是1.7B的，还有一个4B的，然后还有一个8B的。那我们现在先去用4B的，因为一会儿我们用我拉玛也去下载4B的，然后去看一下效果啊，我们用这个4B的来运行一下。

哦，我们是用CR这边有很多其他的命令，比如说做一些个呃模型验证啊什么的。我们这边用CR来去做。帮我直接复制一下吧。

然后模型就还是用刚才这边的地址。然后34B，然后这个下面我们从法下来之后，会有很多个模型的，我们可以看一下，下面有各种各样的流量化版本，我们这边使的是Q4 KM的这个。KM, 然后直接回收就可以了。Hey.哦，不好意思，落了一个参数。这边指定的是模型。好，那这个时候他要去加载，然后加载好了之后呢，这边可以出现对话了，比如说跟他打声招呼，你好。

啊，因为是千三的，它是带思考模式的。然后，稍微等一下，整体的速度来说，4B还好吧。如果想要快一点的话，其实你是1.7的那个也可以，但是可能效果有的时候会比较差。啊，这个是拉妈的一个效果。一会儿我们试试欧拉玛，欧拉玛的速度，看看跟他会不会有什么差别。对，然后如果说你不想让他这个think的话，其实我们可以通过提示词来去改变它，比如说同样的再跟他说，嗯，你能做什么，然后后面加上斜线。No.

Think.在这个时这个时候呢，就不会看到这个think的过程，但是还会有这个think的标签，然后他会直接回答我们。好，那这个就是用拉玛点CBPO去搭建的一个效果。我们今天呢，是用欧拉马来试一下。好，那接下来我们开始去装奥拉玛。首先我们复制一下这个命令，然后。

就是从这个拉玛官网去下载就好了，然后回车这个过程需要一会儿输入密码。这个速度可能会比较慢一些啊，大家耐心等待一下。然后，如果说你有呃魔法工具，也可以直接使用魔法工具来去做一个代理，这样速度能快一些，让我们稍微暂停一下。

我去启动一个工具。然后我们找一下之前的命令。可过了。嗯。啊，这个是我Windows上的一个呃地址哈，然后这个时候我们再去下，速度应该会快一些。

然后如果嗯大家想看从环境安装开始的话，那过两天我们再重新录制一个，就从Windows系统的装机，嗯到环境的设置软件的安装。

嗯，包括后面，我们也会打算拿这个开发版来去测试一下他在工程上的一些能力，比如说搭建一个MCP，然后或者做一些个智能助手。嗯，今天的话我们就暂时先去验证一下他基础能力吧，就比如说欧拉玛的一个模型运行运行。后期的话，我们还会去试试它上面的GP不NNPO和GPU的一个效果。

好还有20%就下载好了。

Cool.

然后他说，我们这边是没有恩伟达和MV的一个GPO，所以呢只能运行在一个CPU上啊。下载好之后呢，我们可以去用我拉玛来去拉取一个模型啊，命令的话就是哦拉玛。不是千三千万三，然后他。对他的一个版本，我们有私立的，然后回车，然后这个时候他就会去去他的官网去找这个模型，然后去把它拉下来，然后这个速度要稍微等一会儿。大概有一个2.5B的一个。一个骰子。嗯。

啊，总体的速度来说还是可以的啊。这个当然也取决于本地的网速和你的那个，呃，魔法工具的一个网速。嗯。

嗯，然后那个欧拉玛这个本身它是可以就是。类似于断点续传嘛，就比如说我到现在下载97%了，然后突然间给它关掉，然后我再重新拉的话，它是可以继续的。比如说你现在现在去下载最后的0.1B1.1 GB的时候就很慢嘛，那你可以尝试去把它先关掉，然后重新去拉一下他有的时候会瞬间就结束。

好，那马上就结束了。

好，接下来他会做一些简单的验证，看文件是否破损。那如果说我们要去运行的话，是就是直接我拉妈run，同样的后边去指定你的模型前文。三四个走。如果说你要运行的这个模型之前没有拉取过来的话，那你当你运行这个命令的时候呢，它也会自动去拉取。我们这边来说，嗯，你好，请介绍一下你。

我们可以感觉到这个的速度呢。就要比刚才我们用那个拉玛点CP运行的要慢很多很多，因为本身那个拉玛点CP呢，是对于我们这个硬件去做过一些优化对。好，那这个速度就是超级慢，基本上也没有办法去使用，我们就把它暂停掉好。所以就是建议大家如果在你没有没有GPU的情况下，然后想在这个开发板上运行一些个模型，那一首推的话，还是选择这个拉玛点CPP会好一些，然后如果说。呃，你有GPU或者就是集成显卡，或者说NP。或者如果说你有能能去安装那个N伟达的GPU，那可能可能你有欧拉玛或者说VRM可能会更好一些。对，因为本身那个拉玛点CPP的话，它好像只是针对于CPU的一个环境，目前没有嗯看到在arm上可以让它支持GPU的一个设置，然后如果后期他要支持的话，我们也会同步跟进。

那今天这个拉玛的一个演示就先这样。好，谢谢大家观看，我们下次再见，拜拜。