本地大语言模型运行工具，让开发者在个人设备上轻松部署和运行开源 LLM。

简介

Ollama 是一个开源的本地 LLM 运行框架，以极简的命令行界面让用户在 macOS、Linux 和 Windows 上运行各种开源大语言模型。它自动处理模型下载、GPU 加速和量化，大幅降低了本地部署的门槛。

支持的模型

Ollama 支持丰富的开源模型家族：

• LLaMA 系列：Meta 的 LLaMA 2/3/3.1/4 全系列
• Mistral：Mistral AI 的 Mistral 和 Mixtral 系列
• Gemma：Google 的 Gemma 系列开源模型
• Qwen：阿里的通义千问系列
• DeepSeek：深度求索系列
• Phi：Microsoft 的小参数高性能模型