Update README.md

This commit is contained in:
guanjihuan 2024-01-27 04:19:11 +08:00
parent d6b4e4faa0
commit ee5bc2e019

View File

@ -4,6 +4,8 @@
运行这里的代码需要安装 Python 环境,可以选择安装 Anacondahttps://www.anaconda.com 。如果是本地 GPU 运行模型,还需要 Nvidia 显卡,至少 6G 显存。说明这里只测试了几个模型还有更多开源大模型感兴趣的可以自行测试。通常8G 显存的显卡可以量化地加载 7B 左右的模型70亿参数16G 显存的显卡可以完整加载 7B 左右的模型70亿参数以及量化地加载 14B 左右的模型14亿参数更大参数空间的模型的运行需要更大显存的显卡。开源大模型的排行榜有https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard 、https://cevalbenchmark.com/static/leaderboard.html 、https://opencompass.org.cn/leaderboard-llm 。
### 一、基础环境
Web 框架是使用 Streamlithttps://streamlit.io 、https://github.com/streamlit/streamlit 。
Streamlit 的安装:
@ -46,7 +48,7 @@ sudo ubuntu-drivers autoinstall
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
```
### 、本地运行开源模型
### 、本地运行开源模型
#### 1. 开源模型 ChatGLM
@ -114,7 +116,7 @@ internlm2-chat-7b 模型文件下载https://huggingface.co/internlm/internlm2
python -m streamlit run ./InternLM.py --theme.base dark --server.port 8501
```
### 、使用第三方模型 API
### 、使用第三方模型 API
#### 1. 智谱 - ChatGLM_Turbo