一键部署ChatGLM-6B: An Open Bilingual Dialogue Language Model 开源双语对话语言模型

某天早上上班看到公众号推送了解到了相关推送，先码着等周末再折腾折腾。

一键运行
Web：

docker run -di -p 8501:8501 hub.147180.com/library/chatglm2-6b:web

Api：

docker run -di -p 8000:8000 hub.147180.com/library/chatglm2-6b:api

Cli：

docker run -it hub.147180.com/library/chatglm2-6b:cli

落泪，没有显卡只能用CPU来跑了，而且内存不大也只能使用量化的模型。

API调用：

curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
https://github.com/THUDM/ChatGLM-6B

ChiuYut

2023年07月02日

发布者