guanjihuan/chat.guanjihuan.com
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Update README.md

Browse Source
This commit is contained in:
guanjihuan 2024-12-20 06:40:10 +08:00
parent 17f4fb2528
commit 2c979215be
1 changed files with 9 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

10
README.md
View File

@ -1,5 +1,7 @@
## chat.guanjihuan.com
本仓库主要记录这篇博文中的代码：https://www.guanjihuan.com/archives/38502 。
这里把 https://chat.guanjihuan.com 的主要实现代码进行开源。代码参考各个开源大模型的 GitHub 或 HuggingFace 主页、大语言模型的 API 官网，以及 HuggingFace 和 Pytorch 的文档等。
硬件要求：如果是本地 GPU 运行模型，还需要 Nvidia 显卡，至少 6G 显存。说明：这里只测试了几个模型，还有更多开源大模型，感兴趣的可以自行测试。通常，8G 显存的显卡可以量化地加载 7B 左右的模型（70亿参数）；16G 显存的显卡可以完整加载 7B 左右的模型（70亿参数）或量化地加载 14B 左右的模型（140亿参数）；更大参数空间的模型的运行需要更大显存的显卡。开源大模型的排行榜有：
@ -119,7 +121,13 @@ internlm-chat-7b 模型文件下载：https://huggingface.co/internlm/internlm-c
python -m streamlit run ./InternLM.py --theme.base dark --server.port 8501
```
#### 4. ……
#### 4. 开源模型 使用 Ollama 调用 llama3.2
Ollama 部分参考这篇：https://www.guanjihuan.com/archives/43861
这里的代码给出了具体的 Streamlit 的实现。
#### 5. ……
### 三、使用大语言模型 API