通过 Vulkan 加快 LLaMA.cpp 的推理速度

无意间发现其有一块 AMD Radeon PRO W6800 专业显卡,就想着是不是能利用一下的说!

事情起因也是在写前面文章时二次确认在线源的软件包的过程中,发现 llama.cpp 有一个 opencl 的后端可供选择,为此就在研究如何使其能通过 OpenCL 后端加速推理。

先安装xx后通过 lspci 发现其有着 AMD Radeon PRO W6800 专业显卡,为此更加使我有动力去研究下去。

发布者

ChiuYut

咦?我是谁?这是什么地方? Ya ha!我是ChiuYut!这里是我的小破站!