AirLLM：单卡 4GB 运行 70B+ 大模型，无需量化与剪枝

📖 项目简介

AirLLM 是一个革命性的推理引擎，它大幅降低了大语言模型的推理内存需求。核心理念是无需量化、蒸馏或剪枝，就可以在消费级硬件上运行前沿大模型。它采用分层流式加载技术，按需从磁盘加载模型参数，实现了”用多少加载多少”的推理模式。

💡 核心突破

让 70B 模型在单卡 4GB GPU 上运行，405B Llama 3.1 在 8GB 显存即可运行，
DeepSeek-V3 (671B) 在 ~12GB 显存运行，Kimi K3 (2.8T) 在 3.72GB 显存运行！

📊 项目数据统计

指标	数值	说明
⭐ Stars	30,164	GitHub 星标数
🍴 Forks	3,209	项目复刻数
👀 Watchers	271	关注人数
🐛 Open Issues	133	待解决问题
📜 许可证	Apache-2.0	开源协议

🚀 里程碑发布

🔥 v3.1.0 (2026/07)

Kimi K3 (2.8T) 支持，3.72GB VRAM 运行史上最大开源模型

⭐ v3.0 (2026/06)

FP8 原生支持，DeepSeek-V3 (671B) 在 ~12GB 运行

📦 v2.11 (2024/08)

Qwen2.5 支持，8bit/4bit 量化加速 3 倍

🎉 v1.0 (2023/11)

初始版本，单卡 4GB 运行 70B 模型

🎯 支持模型

模型	参数规模	所需显存	特点
Kimi K3	2.8T	3.72 GB	史上最大开源模型
DeepSeek-V3	671B	~12 GB	MoE 架构，FP8 原生
Llama 3.1	405B	8 GB	Meta 旗舰模型
Qwen3-235B	235B	~3 GB	通义千问旗舰
Llama 2/3	70B	4 GB	经典 70B 模型

⚡ 快速开始

1️⃣ 安装

# 安装 AirLLM
pip install airllm
# 运行 Kimi K3 需要额外依赖

pip install airllm compressed-tensors flash-attn

2️⃣ 基本推理

from airllm import AutoModel
# 一行代码运行大模型

model = AutoModel.from_pretrained(“Qwen/Qwen3-32B”)
# 也可以运行更大的模型

model = AutoModel.from_pretrained(“deepseek-ai/DeepSeek-V3”)  # 671B

model = AutoModel.from_pretrained(“THUDM/Kimi-K3-Instruct”)  # 2.8T

3️⃣ 生成文本

MAX_LENGTH = 128

input_text = [‘What is the capital of United States?’]
input_tokens = model.tokenizer(input_text,

    return_tensors=“pt”,

    return_attention_mask=False,

    truncation=True,

    max_length=MAX_LENGTH,

    padding=False)
generation_output = model.generate(

    input_tokens[‘input_ids’].cuda(),

    max_new_tokens=20,

    use_cache=True,

    return_dict_in_generate=True)
output = model.tokenizer.decode(generation_output.sequences[0])

print(output)

4️⃣ 量化加速（可选）

# 启用 4-bit 量化，加速 3 倍

model = AutoModel.from_pretrained(“garage-bAInd/Platypus2-70B-instruct”,

    compression=‘4bit’  # 或 ‘8bit’

)

🔧 核心配置

参数	类型	默认值	说明
compression	`str`	None	4bit/8bit 量化加速
profiling_mode	`bool`	False	输出时间消耗统计
prefetching	`bool`	True	预取加载，加速 10%
delete_original	`bool`	False	删除原始模型节省磁盘

🎨 技术架构

📊 AirLLM 工作流程

📈 性能优化

显存利用率
95%

加载速度（预取）
+10%

量化加速
3x

模型兼容性
100%

🖥️ 多平台支持

Linux/Windows – CUDA GPU 加速推理
macOS – Apple Silicon 原生支持（需要 mlx）
Colab – 云端免费 GPU 运行
CPU – 无 GPU 环境也可运行（较慢）

⚠️ 注意事项

⚠️ 重要提醒

首次推理需要将模型分解保存为分层格式，确保 HuggingFace 缓存目录有足够磁盘空间
运行 Kimi K3 需要 CUDA 12 和 transformers 4.56.x
Flash Attention 对 Kimi K3 是必需的
建议配备 SSD 以获得最佳磁盘读取性能

🌟 相关资源

📅 本文数据截至 2026 年 8 月 9 日

持续更新中，欢迎 Star 关注！