就一个字——折腾：本地运行大模型—qwen2.5-coder:1.5b

就一个字 —— 折腾#

　　突然想看看我这七八年的老笔记本和搭配的 GTX1050 2G 版还能不能吃到 AI 大模型的红利。

　　折腾个本地开源大模型试试水，看看这老伙计还能发挥多少余热。

　　怎么方便快捷的折腾呢？Ollama 是很好的选择，它一个开源的大型语言模型服务工具，支持 Windows、macOS、Linux ，支持多种主流开源大模型，更重要的是可以一键部署大模型，是真省事啊。

下载和安装 ollama#

　　ollama 的官网如下：Ollama

　　安装自己电脑系统对应的版本即可。

选择适合自己的本地大模型#

　　在 ollama 的主页点击 models 即可，具体的模型选择根据自己本地硬件的性能和模型的优势来选取。

　　鉴于 1050 和孱弱的 2G 显存，我只能选择一个 1.b 的模型来「耍一耍」。找到对应的模型，复制模型对应的命令到 win 的命令提示符「cmd」界面即可。例如我选择的是 ollama run qwen2.5-coder:1.5b，之后就会自动安装和运行对应的大模型，当出现 send a message (/? for help) 时，表明大模型已经安装完毕，可以开始使用啦。

　　启动之后看一下显卡的使用情况

　　2G 显存占用 1.2G，说明应对 1.5b 的「大模型」，1050 还是可以一战的。

测试一下 qwen 的能力#

以下是一些 「不严谨」 测试

首先第一个问题自然是自我介绍

1.

2. > 我是一个由阿里云开发的人工智能助手，旨在帮助用户解答问题、提供信息、协助完成各种任务。我的设计目的是通过自然语言处理 > 技术，理解用户的意图和需求，并根据这些信息提供个性化的响应。我具备语言理解和生成能力，能够与用户进行对话，并根据上下文进行推理和决策。此外，我还定期更新自己的知识库，以确保回答的问题准确可靠。
1. 回答速度还是很快的，第一题的回答中规中矩。接下来看看别的问题。
测试一些简单的数学题

1.

2. 哈哈，比较大小的时候没有出错，还是可以的。
测试一下语文水平
2. 额，这个回答就不怎么满意了。竟然背不下来《蜀道难》，虽然我也背不下来。
找一些网上的题目试试。
1. 骑着电动车回家，在无人的巷子里飙车。突然对面冲出一个大叔，也骑的飞快。眼看就要撞起了。大叔吼道："你左！我右！" 这个笑话的笑点在哪里？
2. 甲：保护我方大爷！乙：为什么只保护方大爷？韩大爷就不需要保护了吗？
  
  请问这个笑话的笑点是什么？
3. 下列选项中，找出与众不同的一个：
  1. 铝 2. 锡 3. 钢 4. 铁 5. 铜
4. 一公斤的棉花和一公斤的铁，哪一个更重？
5. 从 1 加到 101 的总和是多少？
6. 测完这几道题感觉天塌了，果然「小」模型，回答的也不尽如人意啊。且随着问题的增加，生成响应的速度也从二十多 tokens/s 降低到了二十以下。
再来测一测翻译能力

1.

2.

再试试编程能力

题目：写一个 python 程序，打印每个二叉树的每一个树节点的值

class TreeNode:
    def __init__(self, value=0, left=None, right=None):
        self.value = value
        self.left = left
        self.right = right

def print_tree_nodes(node):
    if node is None:
        return

    # Print the current node's value
    print(node.value)

    # Recursively print the left subtree
    print_tree_nodes(node.left)

    # Recursively print the right subtree
    print_tree_nodes(node.right)

# Example usage
root = TreeNode(1)
root.left = TreeNode(2)
root.right = TreeNode(3)
root.left.left = TreeNode(4)
root.left.right = TreeNode(5)

print("In-order traversal of the tree:")
print_tree_nodes(root)

我试试它的代码能不能跑，嘿嘿还是可以跑起来的。

1.

最后#

　　1050 跑大模型就是一个字 ——「玩」，玩乐属性远大于其实用性。

　　想要更好的体验、更准确的回答，还是得用更好的设备、更大的模型。

　　接下来有空用 mac 的 m4 试试本地大模型，看看效果如何。