就一个字——折腾：本地运行大模型—qwen2.5-coder:1.5b

就一个字 —— 折腾#

　　突然想看看我这七八年的老笔记本和搭配的 GTX1050 2G 版还能不能吃到 AI 大模型的红利。

　　折腾个本地开源大模型试试水，看看这老伙计还能发挥多少余热。

　　怎么方便快捷的折腾呢？Ollama 是很好的选择，它一个开源的大型语言模型服务工具，支持 Windows、macOS、Linux ，支持多种主流开源大模型，更重要的是可以一键部署大模型，是真省事啊。

下载和安装 ollama#

　　ollama 的官网如下：Ollama

　　安装自己电脑系统对应的版本即可。

选择适合自己的本地大模型#

　　在 ollama 的主页点击 models 即可，具体的模型选择根据自己本地硬件的性能和模型的优势来选取。

　　鉴于 1050 和孱弱的 2G 显存，我只能选择一个 1.b 的模型来「耍一耍」。找到对应的模型，复制模型对应的命令到 win 的命令提示符「cmd」界面即可。例如我选择的是 ollama run qwen2.5-coder:1.5b，之后就会自动安装和运行对应的大模型，当出现 send a message (/? for help) 时，表明大模型已经安装完毕，可以开始使用啦。

　　启动之后看一下显卡的使用情况

　　2G 显存占用 1.2G，说明应对 1.5b 的「大模型」，1050 还是可以一战的。

测试一下 qwen 的能力#

以下是一些 「不严谨」 测试

首先第一个问题自然是自我介绍

1.

2. > 私はアリババクラウドによって開発された人工知能アシスタントで、ユーザーの質問に答えたり、情報を提供したり、さまざまなタスクを支援することを目的としています。私の設計目的は、自然言語処理技術を通じて、ユーザーの意図やニーズを理解し、これらの情報に基づいて個別の応答を提供することです。私は言語理解と生成能力を備えており、ユーザーと対話し、文脈に基づいて推論や意思決定を行うことができます。さらに、私は定期的に自分の知識ベースを更新し、質問に対する回答が正確で信頼できることを保証します。
1. 回答速度还是很快的，第一题的回答中规中矩。接下来看看别的问题。
测试一些简单的数学题

1.

2. ハハ、大小を比較するときに間違いはなかったので、まあまあです。
测试一下语文水平
2. うーん、この回答にはあまり満足していません。「蜀道難」を暗記できないとは、私も暗記できませんが。
找一些网上的题目试试。
1. 電動自転車に乗って家に帰ると、無人の路地でスピードを出している。突然、向こうから一人のおじさんが飛び出してきて、彼も速く走っている。もうすぐ衝突しそうだ。おじさんは叫んだ：「君は左！私は右！」このジョークの笑いどころはどこですか？
2. 甲：私たちの大爺を守れ！乙：なぜ方大爺だけを守るのですか？韓大爺は守らなくてもいいのですか？
  
  このジョークの笑いどころは何ですか？
3. 次の選択肢の中から、異なるものを見つけてください：
  1. アルミ 2. スズ 3. 鋼 4. 鉄 5. 銅
4. 1 キロの綿と 1 キロの鉄、どちらが重いですか？
5. 1 から 101 までの合計はいくつですか？
6. 測定したこれらの問題を解決した後、天が崩れたように感じました。やはり「小」モデルでは、回答が満足できるものではありませんでした。また、問題が増えるにつれて、生成応答の速度も 20 トークン / 秒から 20 以下に低下しました。
再来测一测翻译能力

1.

2.

再试试编程能力

题目：二叉木の各ノードの値を印刷する Python プログラムを書く

class TreeNode:
    def __init__(self, value=0, left=None, right=None):
        self.value = value
        self.left = left
        self.right = right

def print_tree_nodes(node):
    if node is None:
        return

    # 現在のノードの値を印刷
    print(node.value)

    # 左の部分木を再帰的に印刷
    print_tree_nodes(node.left)

    # 右の部分木を再帰的に印刷
    print_tree_nodes(node.right)

# 使用例
root = TreeNode(1)
root.left = TreeNode(2)
root.right = TreeNode(3)
root.left.left = TreeNode(4)
root.left.right = TreeNode(5)

print("木の中のノードの順序遍歴：")
print_tree_nodes(root)

私は彼のコードが実行できるか試してみました、へへ、まだ実行できました。

1.

最后#

　　1050 跑大模型就是一个字 ——「玩」，玩乐属性远大于其实用性。

　　想要更好的体验、更准确的回答，还是得用更好的设备、更大的模型。

　　接下来有空用 mac 的 m4 试试本地大模型，看看效果如何。