大模型部署

目前有什么可以本地部署的大模型推荐? (opens new window)

如何找到最新的大模型？

1.huggingface

几乎所有最新开源的大模型都会上传到huggingface，涵盖多模态、CV、NLP、Audio、Tabular、Reinforcement Learning等模型。

2.modelscope

huggingface有时存在网络不稳定的问题，国内比较好的平台https://www.modelscope.cn/models (opens new window)

如何判断本地硬件资源是否满足大模型的需求？

首先要搞清楚，本地可以部署什么大模型，取决于你的硬件配置（尤其关注你GPU的显存）。一般来说，只要你本地机器GPU的显存能够满足大模型的要求，那基本上都可以本地部署。

在没有考虑任何模型量化技术的前提下：

公式：模型显存占用（GB） = 大模型参数（B）*2

这是一个非量化情况下显存占用的经验数值，仅供参考。

为了探索千亿级大模型到底需要多少计算资源，用云计算资源部署了Qwen1.5-110B-Chat，看看部署它到底需要多少存储资源，并且测试在不量化、8bit量化、4bit量化下的显存消耗。

实验数据如下：

下载Qwen1.5-110B-Chat共占用硬盘空间208G。

本地部署Qwen1.5-110B-Chat没有考虑任何量化技术，占用显存215GB

采用8bit量化部署Qwen1.5-110B-Chat，占用显存113GB。在 Transformers 中使用 LLM.int8() 只需提前安装pip install bitsandbytes即可，使用 LLM.int8() 方法量化transformer模型具体示例如下：

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
  'qwen/Qwen1___5-110B-Chat',
  device_map='auto',
  load_in_8bit=True,
  max_memory={
    i: f'{int(torch.cuda.mem_get_info(i)[0]/1024**3)-2}GB'
    for i in range(torch.cuda.device_count())
  }
)

1
2
3
4
5
6
7
8
9
10

采用4bit量化部署Qwen1.5-110B，占用显存62GB，预计1块80GB显存显卡即可部署。

from transformers import BitsAndBytesConfig
import torch
nf4_config = BitsAndBytesConfig(
   load_in_4bit=True,
   bnb_4bit_quant_type="nf4",
   bnb_4bit_use_double_quant=True,
   bnb_4bit_compute_dtype=torch.bfloat16
)

model_nf4 = AutoModelForCausalLM.from_pretrained('qwen/Qwen1___5-110B-Chat', quantization_config=nf4_config)

1
2
3
4
5
6
7
8
9
10

所以回到主题上，如果追求极致本地部署。

在4bit量化的情况，满足本地机器GPU显存（GB） >= 大模型参数（B）/2，可以尝试本地部署。

举个例子：

如果你有一块T4显卡，显存为16GB。可以支持部署6B、7B参数量级的大模型，如果采用4bit量化，可以尝试32B的大模型（不一定保证部署成功）。

参考论文：

LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
GPTQ: ACCURATE POST-TRAINING QUANTIZATION FOR GENERATIVE PRE-TRAINED TRANSFORMERS

如何快速部署

推荐使用https://github.com/ollama/ollama (opens new window)，像启动镜像一样本地下载运行大型语言模型。

下载模型

Ollama 支持的模型列表见：https://ollama.com/library (opens new window)

ollama pull llama3

启动服务

如果你装好了ollama，启动模型服务只需执行如下命令：

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b
Phi-3	3.8B	2.3GB	ollama run phi3
Mistral	7B	4.1GB	ollama run mistral
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b
Solar	10.7B	6.1GB	ollama run solar

上次更新: 2025/06/25, 11:25:50

← Continual Learning for Large Language Models A Survey Qwen2.5-7B-Instruct FastApi 部署调用→