在前篇文章时发现，不知道怎么滴这次的 llama.cpp 竟然能跑起来了！

不知道是重启过的原因还是安装过 Ollama 的原因，在一次“意外的”尝试的时候发现竟然能成功的启动了。

竟然如此就再水一篇文章吧，前面的操作都大差不差的，就直接到下载安装这不吧。

安装

• 下载：

  curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b9294/llama-b9294-bin-ubuntu-arm64.tar.gz
  

• 解压：

  tar -zxvf llama-b9294-bin-ubuntu-arm64.tar.gz
  

• 下载模型：
  下载Qwen/Qwen2.5-1.5B-Instruct-GGUF:q4_k_m作为本次的测试模型。
• 启动：

  ./llama-b9294/llama-cli -m qwen2.5-1.5b-instruct-q4_k_m.gguf
  

  将会启动命令行的交互界面使用模型。

体验

成功的使用并体验……速度都是中规中矩的慢。

ChiuYut

2026年05月25日