GitHub 火线榜

GitHub 火线榜 · 仓库档案

OpenBMB/MiniCPM-V

See, hear, and interact on your local devices. (简介来自仓库自身文档。)

数据截至 10月26日OpenBMB

最好成绩

#323

总榜 · Python 分面

2.7万

累计 Star

2119

Fork 总数

0

近 30 天在榜天数

项目状态许可证: Apache-2.0最近 push: 10月25日Open Issues(含 PR): 64

自 2026-10-25 起采集;未知 = 尚未采集到

把上榜徽章放进你的 README · OpenBMB/MiniCPM-V[![把上榜徽章放进你的 README](https://git.vaiox.xyz/api/badge/OpenBMB/MiniCPM-V.svg)](https://git.vaiox.xyz/zh/repo/OpenBMB/MiniCPM-V)
<a href="https://git.vaiox.xyz/zh/repo/OpenBMB/MiniCPM-V"><img src="https://git.vaiox.xyz/api/badge/OpenBMB/MiniCPM-V.svg" alt="把上榜徽章放进你的 README" height="20"></a>

项目文档

MiniCPM-V 4.7:端侧多模态 AI 的新一代。35B-A3B 与 1B,理解图像、视频和文档。

MiniCPM-V & MiniCPM-o · 把看、听、交互,带到你的端侧设备上。

MiniCPM-V 4.7 🤗 35B-A3B 🤗 1B 🤖   MiniCPM-o 4.5 🤗 🤖

模型概览  ·  开始使用  ·  项目资源  |  中文 · English

MiniCPM-V 4.7

MiniCPM-V 4.7 是 MiniCPM-V 系列的最新模型,提供 35B-A3B 和 1B 两种规格,其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型。主要特点包括:

  • 🚀 性能与效率的新帕累托前沿。 MiniCPM-V 4.7 以 35B-A3B 与 1B 分别刷新了多模态大模型的性能—效率的帕累托前沿。在 Instruct 模式下,35B-A3B 以更短的推理时间取得比 Qwen3.6 35B-A3B 更高的综合得分;1B 版本相比 MiniCPM-V 4.6 持续提升基础能力,并在综合得分和推理效率上均显著领先 Qwen3.5 0.8B。
  • 📱 首个端侧无损流畅的开源 MoE。基于最新的 LES(前瞻专家调度) 推理加速技术,MiniCPM-V 4.7 35B-A3B 成为首个支持端侧无损流畅运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以仅 3GB 内存达到 13+ token/s 的解码速度。我们也适配了 DSpark 投机采样,并提供 1B(DSpark-BF16、DSpark-GGUF)和 35B-A3B(DSpark-BF16、DSpark-GGUF)的投机采样头。
  • 🛠️ 多平台支持,开发者友好。 MiniCPM-V 4.7 同时支持 iOS、安卓和鸿蒙,并适配Intel、AMD、Arm、瑞芯微、后摩等芯片平台,覆盖更多移动设备与本地计算场景。同步开源 Self-Replay Fine-Tuning (SRFT) 微调方案,帮助开发者低成本扩展模型能力和减少遗忘,方便二次开发。

最新动态

  • 2026-10-15 · 我们发布了 MiniCPM-V 4.7 的 DSpark 投机采样头,两个尺寸均提供 BF16 和 GGUF 版本:1B(DSpark-BF16、DSpark-GGUF)和 35B-A3B(DSpark-BF16、DSpark-GGUF)。
  • 2026-10-12 · MiniCPM-V 4.7 发布 — 首个端侧无损流畅运行的开源 MoE 模型,刷新多模态性能—效率帕累托前沿。查看这一代的新变化。

刷新性能与推理效率的帕累托前沿

MiniCPM-V 4.7 35B-A3B 和 1B 的平均评测得分与推理时间对比;星形和圆形为非思考模式,菱形为思考模式。

完整性能对比(35B-A3B,Instruct)

Vision-Language

MiniCPM-V 4.7 35B-A3B 在 Instruct 模式下的 Vision-Language 性能对比

Language

MiniCPM-V 4.7 35B-A3B 在 Instruct 模式下的 Language 性能对比

完整性能对比(1B,Instruct)

MiniCPM-V 4.7 1B 在 Instruct 模式下的完整性能对比

无损且流畅的 MoE 端侧推理

让 MoE 在端侧运行只是起点,真正的挑战是同时保留模型能力与流畅的生成速度。将专家权重存放在 SSD 中可以突破内存容量限制,但若加载与计算无法有效并行,频繁的加载等待就会拖慢生成;限制专家数量、固定专家集合等方式虽能提速,却可能以模型能力退化为代价。

为了解决这一两难问题,MiniCPM-V 4.7 提出前瞻专家调度技术,在不牺牲模型能力条件下实现 x5 的端侧真实加速。通过跨层路由预测,提前加载下一层可能用到的专家并优先计算已加载的专家,显著减少了加载等待时间;同时,结合权重量化与存储布局优化策略,减少权重存储重和读取分散的问题,显著提升加载速度。推理优化前后的生成速度对比:

MiniCPM-V 4.7 35B-A3B 端侧推理效率对比:左侧为优化后,右侧为优化前。

模型权重

MiniCPM-V 4.7 提供 35B-A3B 和 1B 两种规格。每行列出主模型权重及其对应的 DSpark 投机采样头,DSpark 均提供 BF16 和 GGUF 版本。

模型 简介 主⁠模⁠型⁠权⁠重⁠下⁠载 DSpark 采⁠样⁠头
MiniCPM‑V 4.7
35B-A3B
首个可在端侧无损流畅运行的开源 MoE 模型,突破端侧性能上限。 🤗   BF16
🤗   FP8
🤗   int4
🤗   AWQ
🤗   GPTQ
🤗   GGUF
🤗   BF16
🤗   GGUF
MiniCPM‑V 4.7
1B
兼顾能力提升与超高效率,多模态大模型效率-效果帕累托新前沿。 🤗   BF16
🤗   int4
🤗   AWQ
🤗   GPTQ
🤗   GGUF
🤗   BF16
🤗   GGUF

1B int4 版本采用 bitsandbytes 量化;AWQ 和 GPTQ 均采用 W4A16 量化。量化版本可降低内存或显存占用;GGUF 权重支持 CPU 推理。

也可通过 Ollama 下载。

MiniCPM-o 4.5

MiniCPM-o 4.5 是 MiniCPM-o 系列的最新模型,是一个 9B 端到端全模态模型。它可以在生成语音和文字的同时持续接收视频与音频输入,实现边看、边听、边说的实时交互。

模型亮点:

  • 🔥 接近 Gemini 2.5 Flash 的视觉能力。 在 OpenCompass 的 8 项主流基准上取得 77.6 的平均分。仅 9B 参数,视觉理解超过 GPT-4o 和 Gemini 2.0 Pro,并在同一模型中支持指令模式与思考模式。
  • 🎙 强大的语音能力。 支持音色可配置的中英双语实时语音对话,对话更加自然、富有表现力且稳定。也可通过简单的参考音频进行声音克隆和角色扮演,声音克隆表现超越 CosyVoice2 等优秀 TTS 工具。
  • 🎬 全双工、可主动的实时交互。 以端到端的方式同时处理实时连续的视频和音频输入流,并同步生成文本和语音输出流,且互不阻塞。这使得 MiniCPM-o 4.5 能够同时“看、听、说”,提供流畅的实时全模态对话体验。除了被动响应,模型还能进行主动交互,例如基于对场景的实时持续理解,主动发起提醒或评论。

最新动态

  • 2026-05-17 · 发布 MiniCPM-o 4.5 的 API 服务。

观看 MiniCPM-o 4.5 全双工多模态实时交互演示,点击前往 YouTube。

模型概览

MiniCPM-V 4.7 MiniCPM-o 4.5
模型规格 35B-A3B MoE · 1B 9B 端到端全模态模型
核心能力 单图、多图、文档与视频理解 视觉理解、语音理解与生成
技术特性 4 倍/16 倍混合视觉 token 压缩;35B-A3B 端侧无损流畅推理 全双工多模态实时交互,生成语音与文字时持续接收音视频输入
模型指南 MiniCPM-V 4.7 模型指南 MiniCPM-o 4.5 模型指南
效果示例 典型示例 典型示例
评测结果 性能评估 性能评估

开始使用

MiniCPM-V 4.7 MiniCPM-o 4.5
模型权重 模型权重
HF · vLLM HF · vLLM
微调 微调
在线体验 在线体验
本地部署 本地部署
API
Cookbook

历史更新

社区里程碑

  • 2025-01-19 · MiniCPM-o 登顶 GitHub Trending,并位列 Hugging Face Trending 第二。
  • 2024-05-23 · MiniCPM-V 登顶 GitHub Trending 和 Hugging Face Trending。

用 MiniCPM 做些什么

社区项目 可以探索的用法
OpenAvatarChat 在单台 PC 上实现交互式数字人对话
Ollama-OCR 通过本地视觉语言模型提取图像和 PDF 中的文字
comfyui_LLM_party 把语言与视觉模型接入 ComfyUI 工作流

社区项目支持的模型代际可能不同,请查看各自的模型列表。更多社区作品

项目资源

类别 链接
模型文档 MiniCPM-V 4.7 · MiniCPM-o 4.5
部署与开发 部署与训练 · Cookbook · 文档网站
论文资料 技术报告与相关论文
版本与更新 历史模型 · 完整更新记录
社区交流 Discord · 微信 · 飞书 / Lark · MiniCPM 知识库
协议与声明 Apache-2.0 · 模型协议 · 使用声明

本项目由 清华大学自然语言处理实验室和面壁智能共同开发,代码与模型权重采用 Apache-2.0 协议。

引用

如果您觉得我们模型/代码/论文有帮助,请给我们 ⭐ 和 引用 📝,感谢!

@misc{cui2026minicpmo45realtimefullduplex,
      title={MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction},
      author={Junbo Cui and Bokai Xu and Chongyi Wang and Tianyu Yu and Weiyue Sun and Yingjing Xu and Tianran Wang and Zhihui He and Wenshuo Ma and Tianchi Cai and others},
      year={2026},
      url={https://arxiv.org/abs/2604.27393},
}

@proceedings{yu2025minicpmv45cookingefficient,
      title={MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe},
      author={Tianyu Yu and Zefan Wang and Chongyi Wang and Fuwei Huang and Wenshuo Ma and Zhihui He and Tianchi Cai and Weize Chen and Yuxiang Huang and Yuanqian Zhao and others},
      year={2025},
      url={https://arxiv.org/abs/2509.18154},
}

@article{yao2024minicpm,
  title={MiniCPM-V: A GPT-4V Level MLLM on Your Phone},
  author={Yao, Yuan and Yu, Tianyu and Zhang, Ao and Wang, Chongyi and Cui, Junbo and Zhu, Hongji and Cai, Tianchi and Li, Haoyu and Zhao, Weilin and He, Zhihui and others},
  journal={arXiv preprint arXiv:2408.01800},
  year={2024}
}

当前上榜

近 30 天势头

近 30 天没有上榜记录。

同类项目 · 共享主题

← 回到榜单