Ollama 是一个开源的本地大语言模型运行框架,它提供了非常简单便捷的使用形式,让用户可以十分方便的在本地机器上部署和运行大型语言模型,从而实现免费离线的方式使用 LLM 能力,并确保私有数据的隐私和安全性。
1 Ollama 安装
Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。其安装、使用及模型下载非常简单,可以简单概括为以下几步:
- 下载 Ollama 安装程序并安装。
- 启动 Ollama,执行命令下载和运行模型。如:
ollama run deepseek-r1:1.5b
- 以命令行交互、API 调用、第三方应用接入等形式使用其服务。
1.1 硬件要求
ollama 本身对硬件要求并不高,主要取决于运行模型的要求。基本建议:
你应该至少有 4 GB 的 RAM 来运行 1.5B 模型,至少有 8 GB 的 RAM 来运行 7B 模型,16 GB 的 RAM 来运行 13B 模型,以及 32 GB 的 RAM 来运行 33B 模型。
假若需要本地私有化部署具有实用性的模型,应至少有独立显卡并有 4G 以上显存。纯 CPU 模式虽然也可以运行,但生成速度很慢,仅适用于本地开发调试体验一下。
本人实测在Mac Studio 2023 版(Apple M2 Max 芯片:12核、32G内存、30核显、1TB SSD)
上,运行 deepseek:1.5b
模型响应非常快,可以较为流畅的运行 deepseek-r1:32b
及以下的模型。
DeepSeek-r1 相关版本及大小参考:
参数版本 | 模型大小 | 建议CPU | 建议内存 | 建议显存 | 特点 |
---|---|---|---|---|---|
deepseek-r1:1.5b | 1.1GB | 4核 | 4~8G | 4GB | 轻量级,速度快、普通文本处理 |
deepseek-r1:7b | 4.7G | 8核 | 16G | 14GB | 性能较好,硬件要求适中 |
deepseek-r1:8b | 4.9GB | 8核 | 16G | 14GB | 略强于 7b,精度更高 |
deepseek-r1:14b | 9GB | 12核 | 32G | 26GB | 高性能,擅长复杂任务,如数学推理、代码生成 |
deepseek-r1:32b | 20GB | 16核 | 64G | 48GB | 专业级,适合高精度任务 |
deepseek-r1:70b | 43GB | 32核 | 128G | 140GB | 顶级模型,适合大规模计算和高复杂度任务 |
deepseek-r1:671b | 404GB | 64核 | 512G | 1342GB | 超大规模,性能卓越,推理速度快 |
1.2 Windows \ macOS \ Linux 下安装 Ollama
Windows 和 macOS 用户可访问如下地址下载安装文件并安装:
- 国内中文站下载:http://ollama.org.cn/download/
- 官方下载:https://ollama.com/download/
- github release 下载:https://github.com/ollama/ollama/releases/
Linux 用户可以执行如下命令一键安装:
1 | curl -fsSL https: //ollama .com /install .sh | bash |
安装完成后,可以通过执行 ollama --version
命令查看 Ollama 版本信息,以验证是否安装成功。
ollama 离线安装:
Windows 和 macOS 下直接复制安装文件到本地本进行安装即可。
Linux 下的离线安装主要步骤参考如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 | mkdir -p /home/ollama cd /home/ollama # 查看服务器 CPU 信息获取其架构,如:x86_64 lscpu # 访问如下地址,下载对应架构的 Ollama 安装包 # - x86_64 CPU 选择下载 ollama-linux-amd64 # - aarch64|arm64 CPU 选择下载 ollama-linux-arm64 # 示例: wget https: //github .com /ollama/ollama/releases/download/v0 .5.11 /ollama-linux-amd64 .tgz # 下载 安装脚本,并放到 /home/ollama 目录下 wget https: //ollama .com /install .sh # 将 ollama-linux-amd64.tgz 和 install.sh 拷贝到需要安装的机器上,如放到 /home/ollama 目录下 # 然后执行如下命令: tar -zxvf ollama-linux-amd64.tgz chmod +x install .sh # 编辑 install.sh 文件,找到如下内容 curl --fail --show-error --location --progress-bar -o $TEMP_DIR /ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}" # 注释它,并在其下增加如下内容: cp . /ollama-linux-amd64 $TEMP_DIR /ollama # 执行安装脚本 . /install .sh # 模型的离线下载请参考下文模型导入部分 |
1.3 基于 Docker 安装 Ollama
基于 Docker 可以使得 Ollama 的安装、更新与启停管理更为便捷。
首先确保已安装了 docker,然后执行如下命令:
1 2 3 4 5 6 7 8 9 10 11 12 | # 拉取镜像 docker pull ollama /ollama # 运行容器:CPU 模式 docker run -d -p 11434:11434 - v /data/ollama : /root/ .ollama --name ollama ollama /ollama # 运行容器:GPU 模式 docker run --gpus=all -d -p 11434:11434 - v /data/ollama : /root/ .ollama --name ollama ollama /ollama # 进入容器 bash 下并下载模型 docker exec -it ollama /bin/bash # 下载一个模型 ollama pull deepseek-r1:8b |
也可以基于 docker-compose
进行启停管理。docker-compose.yml
参考:
1 2 3 4 5 6 7 8 9 10 11 12 13 | services: ollama: image: ollama/ollama container_name: ollama restart: unless-stopped ports: - 11434 : 11434 volumes: - /data/ollama : /root/.ollama environment: # 允许局域网跨域形式访问API OLLAMA_HOST=0 .0.0.0: 11434 OLLAMA_ORIGINS=* |
1.4 修改 Ollama 模型默认保存位置
ollama
下载的模型默认的存储目录如下:
- macOS:
~/.ollama/models
- Linux:
/usr/share/ollama/.ollama/models
- Windows:
C:\Users\<username>\.ollama\models
若默认位置存在磁盘空间告急的问题,可以通过设置环境变量 OLLAMA_MODELS
修改模型存储位置。示例:
1 2 3 4 5 6 7 | # macOS / Linux:写入环境变量配置到 ~/.bashrc 文件中 echo 'export OLLAMA_MODELS=/data/ollama/models' >> ~/.bashrc source ~/.bashrc # Windows:按 `WIN+R` 组合键并输入 cmd 打开命令提示符 # 然后执行如下命令写入到系统环境变量中 setx OLLAMA_MODELS D:\data\ollama\models |
如果已经下载过模型,可以从上述默认位置将 models 目录移动到新的位置。
对于 docker 安装模式,则可以通过挂载卷的方式修改模型存储位置。
1.5 使用:基于 API 形式访问 Ollama 服务
ollama 安装完成并正常启动后,可以通过命令行形式运行模型(如:ollama run deepseek-r1:1.5b
),并通过命令行交互的方式进行测试。
此外也可以通过访问 http://localhost:11434
以 API 调用的形式调用。示例:
1 2 3 4 5 | curl http: //localhost :11434 /api/generate -d '{ "model" : "deepseek-r1:8b" , "stream" : false , "prompt" : "你是谁" }' |
ollama API 文档参考:
- https://ollama.readthedocs.io/api/
- https://github.com/ollama/ollama/blob/main/docs/api.md
2 使用 Ollama 下载和运行模型
2.1 使用 Ollama 命令行下载和运行模型
执行如下命令下载并运行一个模型:
1 2 3 4 5 6 | # 基本格式为: ollama run <model_name:size> # 例如下载并运行 deepseek-r1 的 1.5b 模型 # 如果下载模型速度开始较快后面变慢,可以 kill 当前进程并重新执行 ollama run deepseek-r1:1.5b |
运行成功则会进入命令行交互模式,可以直接输入问题并获得应答反馈,也可以通过 API 调用方式测试和使用。
从如下地址可搜索 Ollama 所有支持的模型:
从 HF 和魔塔社区下载模型
ollama 还支持从 HF 和魔塔社区下载第三方开源模型。基本格式为:
1 2 3 4 5 6 7 8 9 | # 从 HF(https://huggingface.co) 下载模型的格式 ollama run hf.co/{username}/{reponame}:latest # 示例: ollama run hf.co /bartowski/Llama-3 .2-1B-Instruct-GGUF:Q8_0 # 从魔塔社区(https://modelscope.cn)下载模型的格式 ollama run modelscope.cn/{username}/{model} # 示例: ollama run modelscope.cn /Qwen/Qwen2 .5-3B-Instruct-GGUF:Q3_K_M |
2.2 使用 Ollama create 导入本地模型
通过 ollama run
和 ollama pull
命令均是从官方地址下载模型,可能会遇到下载速度慢、下载失败等问题。
ollama 支持从本地导入模型。我们可以从第三方下载模型文件并使用 ollama create
命令导入到 Ollama 中。
例如,假若我们下载了 deepseek-r1:8b
模型文件,并保存在 /data/ollama/gguf/deepseek-r1-8b.gguf
,则可执行如下命令进行导入:
1 2 3 4 5 6 7 8 9 10 | cd /data/ollama/gguf echo "From ./deepeek-r1-8b.gguf" > modelfile-deepseek-r1-8b ollama create deepseek-r1:8b -f modelfile-deepseek-r1-8b # 查看模型信息 ollama list ollama show deepseek-r1:8b # 运行模型(以命令行交互模式使用) ollama run deepseek-r1:8b |
相关文档参考:
- https://ollama.readthedocs.io/import/
- https://ollama.readthedocs.io/modelfile/
2.3 将 HF、魔塔社区下载的模型转换为 GGUF 格式
如果你在 HF 或魔塔社区看到了想要的模型,但是它并不是 GGUF 格式,则可以下载并将其转换为 GGUF 格式。
下载 HF 模型文件方法:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | # 设置环境变量,使用 HF 国内镜像 export HF_ENDPOINT=https: //hf-mirror .com # 启用多线程下载 export HF_HUB_ENABLE_HF_TRANSFER=1 # 安装 huggingface-cli 工具 pip install -U huggingface_hub pip install hf_transfer # 单文件下载 huggingface-cli download <repo_id> <filename> -- local - dir < /path/to/download > # 示例:下载一个模型 # 其中,Qwen/QwQ-32B 为你要下载的模型,./model/qwq-32b 为本地路径 huggingface-cli download --resume-download -- local - dir -use-symlinks False Qwen /QwQ-32B -- local - dir . /model/qwq-32b |
下载魔塔社区模型文件方法:
1 2 3 4 5 6 7 | # 安装依赖 pip install modelscope # 下载模型 - 整个目录 modelscope download -- local - dir -use-symlinks false --model qwen /Qwen2-Audio-7B-Instruct --local_dir . /model/Qwen2-Audio-7B-Instruct # 下载单个文件 modelscope download -- local - dir -use-symlinks false --model qwen /Qwen2-Audio-7B-Instruct README.md |
然后可以通过 llama.cpp
提供的convert-hf-to-gguf.py
脚本来完成:
1 2 3 | git clone https: //github .com /ggerganov/llama .cpp cd llama.cpp python convert-hf-to-gguf.py path_to_hf_model --outfile output_gguf_file |
这里的 path_to_hf_model
是原始模型路径,output_gguf_file
是你希望生成的 GGUF 文件的路径。
最后,你可以使用 ollama create
命令将生成的 GGUF 文件导入到 Ollama 中。
3 Ollama 常用命令参考
ollama 提供了丰富的命令行工具,方便用户对模型进行管理。
ollama --help
:查看帮助信息。ollama serve
:启动 Ollama 服务。ollama create <model-name> [-f Modelfile]
:根据一个 Modelfile 文件导入模型。ollama show <model-name:[size]>
:显示某个模型的详细信息。ollama run <model-name:[size]>
:运行一个模型。若模型不存在会先拉取它。ollama stop <model-name:[size]>
:停止一个正在运行的模型。ollama pull <model-name:[size]>
:拉取指定的模型。ollama push <model-name>
:将一个模型推送到远程模型仓库。ollama list
:列出所有模型。ollama ps
:列出所有正在运行的模型。ollama cp <source-model-name> <new-model-name>
:复制一个模型。ollama rm <model-name:[size]>
:删除一个模型。
4 Ollama 安装使用常见问题及解决
4.1 Ollama 模型下载慢:离线下载与安装模型
通过 Ollama 官方命令拉取模型,可能会遇到网速慢、下载时间过长等问题。
4.1.1 开始快后来慢:间隔性重启下载
由于模型文件较大,下载过程中可能会遇到开始网速还可以,后面变慢的情况。许多网友反馈退出然后重试则速度就可以上来了,所以可以尝试通过每隔一段时间退出并重新执行的方式以保持较快的下载速率。
以下是基于该逻辑实现的下载脚本,注意将其中的 deepseek-r1:7b
替换为你希望下载的模型版本。
Windows 下复制如下代码并保存为 ollama-dl.sh
文件,然后在 powershell 中执行它:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 | #!/usr/bin/env pwsh # 模型名称,从第一个参数读取 $MODEL = $args[0] # 如果未提供模型名称,则使用默认值 if ([string]::IsNullOrEmpty($MODEL)) { $MODEL = "deepseek-r1:8b" } while ($ true ) { # 检查模型是否已下载完成 $modelExists = ollama list | Select-String -Pattern "$MODEL" if ($modelExists) { Write-Host "模型已下载完成!" break } # 启动ollama进程并记录 Write-Host "开始下载模型 $MODEL..." # ollama pull $MODEL & # 在后台启动进程 # $processId = Get-Job | Select-Object -Last 1 | ForEach-Object { $_.InstanceId } $process = Start-Process -FilePath "ollama" -ArgumentList "run" , $MODEL -PassThru -NoNewWindow $processId = $process.Id # 等待60秒 Start-Sleep -Seconds 60 # 尝试终止进程 if (Get-Process -Id $processId) { Stop-Job -Id $processId Write-Host "已中断本次下载,准备重新尝试..." } else { Write-Host "进程已结束,无需中断" } } |
macOS / Linux
下复制如下代码保存为 ollama-dl.sh
文件,并赋予可执行权限,然后在终端中执行它:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | #!/bin/bash # 模型名称,从第一个参数读取 MODEL=$1 # 如果未提供模型名称,则使用默认值 if [ -z "$MODEL" ]; then MODEL= "deepseek-r1:8b" fi while [ $STATUS - eq 1 ]; do # 检查模型是否已下载完成 modelExists=$(ollama list | grep "$MODEL" ) if [ -n "$modelExists" ]; then echo "模型已下载完成!" break fi # 启动ollama进程并记录 echo "开始下载模型 $MODEL..." ollama pull $MODEL & # 在后台启动进程 processId=$! # 获取最近启动的后台进程的PID # 等待60秒 sleep 60 # 尝试终止进程 if kill -0 $processId 2> /dev/null ; then kill -9 $processId # 强制终止进程 echo "已中断本次下载,准备重新尝试..." else echo "进程已结束,无需中断" fi done |
4.1.2 通过网盘等第三方离线下载并导入 Ollama 模型
可以通过国内的第三方离线下载模型文件,再导入到 Ollama 中。详细参考 2.2 章节。
deepseek-r1
相关模型夸克网盘下载:
链接:https://pan.quark.cn/s/7fa235cc64ef 提取码:wasX
也可以从 魔塔社区、HuggingFace 等大模型社区搜索并下载 stuff 格式的模型文件。例如:
- https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files
- https://huggingface.co/unsloth/DeepSeek-R1-GGUF
4.1.3 从国内大模型提供站下载模型
ollama 支持从魔塔社区直接下载模型。其基本格式为:
1 | ollama run modelscope.cn/{model- id } |
一个模型仓库可能包含多个模型,可以指定到具体的模型文件名以只下载它。示例:
1 2 3 | ollama run modelscope.cn /Qwen/Qwen2 .5-3B-Instruct-GGUF # ollama run modelscope.cn /Qwen/Qwen2 .5-3B-Instruct-GGUF:qwen2.5-3b-instruct-q3_k_m.gguf |
下载 deepseek-r1
模型命令参考:
1 2 3 4 5 6 | # deepseek-r1:7b ollama run modelscope.cn /unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF :DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf # deepseek-r1:14b ollama run modelscope.cn /unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF :Q4_K_M # deepseek-r1:32b ollama run modelscope.cn /unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF :Q4_K_M |
此外,也可以从 HF 的国内镜像站(https://hf-mirror.com)查找和拉取模型,方法与上述类似:
1 2 3 4 5 | # 基本格式 ollama run hf-mirror.com/{username}/{reponame}:{label} # 示例 - 拉取 deepseek-r1:7b ollama run hf-mirror.com /unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF :Q4_K_M |
4.1.4 使用 Ollama 代理镜像站下载模型
一些国内镜像站提供了 Ollama 的镜像服务,可以加速模型下载。例如:https://github.com/DaoCloud/public-image-mirror?tab=readme-ov-file#%E5%8A%A0%E9%80%9F-ollama–deepseek
示例:
1 2 3 4 5 6 7 8 9 | # 直接使用官方源下载模型 ollama run deepseek-r1:1.5b # => 使用加速源 ollama run ollama.m.daocloud.io /library/deepseek-r1 :1.5b # 基于 docker 安装的 ollama 下载模型 docker exec -it ollama ollama run deepseek-r1:1.5b # => 使用加速源 docker exec -it ollama ollama run ollama.m.daocloud.io /library/deepseek-r1 :1.5b |
4.2 Ollama 服务设置允许局域网访问
默认情况下 API 服务仅允许本机访问,若需要允许局域网其他设备直接访问,可修改环境变量 OLLAMA_HOST
为 0.0.0.0
,并修改 OLLAMA_ORIGINS
为允许的域名或 IP 地址。
环境变量设置示例:
1 2 3 4 5 6 7 | # windows 命令提示符下执行: setx OLLAMA_HOST 0.0.0.0:11434 setx OLLAMA_ORIGINS * # macOS 终端下执行: launchctl setenv OLLAMA_HOST "0.0.0.0:11434" launchctl setenv OLLAMA_ORIGINS "*" |
特别注意:
- 如果你是在云服务器等拥有公网IP的环境上部署,请谨慎做此设置,否则可能导致 API 服务被恶意调用。
- 若需要局域网其他设备访问,请确保防火墙等安全设置允许 11434 端口访问。
- 若需要自定义访问端口号,可通过环境变量
OLLAMA_HOST
设置,如:OLLAMA_HOST=0.0.0.0:11435
。
4.3 为 Ollama API 服务访问增加 API KEY 保护
为云服务器部署的服务增加 API KEY 以保护服务
如果你是通过云服务器部署,那么需要特别注意服务安全,避免被互联网工具扫描而泄露,导致资源被第三方利用。
可以通过部署 nginx 并设置代理转发,以增加 API KEY 以保护服务,同时需要屏蔽对 11434 端口的互联网直接访问形式。
nginx
配置:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | server { # 用于公网访问的端口 listen 8434; # 域名绑定,若无域名可移除 server_name your_domain.com; location / { # 验证 API KEY。这里的 your_api_key 应随便修改为你希望设置的内容 # 可通过 uuid 生成器工具随机生成一个:https://tool.lzw.me/uuid-generator if ($http_authorization != "Bearer your_api_key" ) { return 403; } # 代理转发到 Ollama 的 11434 端口 proxy_pass http: //localhost :11434; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } } |
5 集成可视化工具
在部署了 Ollama 并拉取了 deepseek 等模型后,即可通过命令行交互和 API 服务方式使用,但使用起来并不方便。
开源社区中有许多大模型相关的可视化工具,如 open-webui、chat-ui、cherry-studio、AnythingLLM 等,可以方便地集成 Ollama API 服务,提供图形化界面使用,以实现聊天机器人、问答知识库等多元化应用。在官方文档中列举了大量较为流行的工具应用:https://ollama.readthedocs.io/quickstart/#web
我们后续会选择其中较为典型的工具进行集成和介绍。
5.1 示例:基于 docker 部署 open-webui 并配置集成 Ollama 服务
Open WebUI 是一个开源的大语言模型项目,通过部署它可以得到一个纯本地运行的基于浏览器访问的 Web 服务。它提供了可扩展、功能丰富、用户友好的自托管 AI Web 界面,支持各种大型语言模型(LLM)运行器,可以通过配置形式便捷的集成 Ollama、OpenAI 等提供的 API。
通过 Open WebUI 可以实现聊天机器人、本地知识库、图像生成等丰富的大模型应用功能。
在开始之前,请确保你的系统已经安装了 docker。
接着拉取大语言模型 deepseek-r1:8b
和用于 RAG 构建本地知识库的嵌入模型 bge-m3
:
1 2 | ollama pull deepseek-r1:8b ollama pull bge-m3 |
然后新建文件 docker-compose.yml
,内容参考:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | services: open-webui: image: ghcr.io/open-webui/open-webui : main environment: - OLLAMA_API_BASE_URL=http : //ollama : 11434/api - HF_ENDPOINT=https : //hf-mirror.com - WEBUI_NAME= "LZW的LLM服务" # 禁用 OPENAI API 的请求。若你的网络环境无法访问 openai,请务必设置该项为 false # 否则在登录成功时,会因为同时请求了 openai 接口而导致白屏时间过长 - ENABLE_OPENAI_API= false # 设置允许跨域请求服务的域名。* 表示允许所有域名 - CORS_ALLOW_ORIGIN=* # 开启图片生成 - ENABLE_IMAGE_GENERATION= true # 默认模型 - DEFAULT_MODELS=deepseek-r1 : 8b # RAG 构建本地知识库使用的默认嵌入域名 - RAG_EMBEDDING_MODEL=bge-m3 ports: - 8080 : 8080 volumes: - ./open_webui_data : /app/backend/data extra_hosts: # - host.docker.internal:host-gateway |
这里需注意 environment
环境变量部分的自定义设置。许多设置也可以通过登录后在 web 界面进行修改。
在该目录下执行该命令以启动服务:docker-compose up -d
。成功后即可通过浏览器访问:http://localhost:8080
。
服务镜像更新参考:
1 2 3 4 5 6 | # 拉取新镜像 docker-compose pull # 重启服务 docker-compose up -d --remove-orphans # 清理镜像 docker image prune |
- open-webui 详细文档参考:https://docs.openwebui.com/getting-started/env-configuration
可选:开启“联网搜索”功能
操作路径:设置 - 联网搜索 - 启用联网搜索
当前已支持接入的联网搜索引擎中,在不需要魔法上网的情况下,有 bing 和 bocha 可以选择接入。基本只需要前往注册并获取 API KEY 回填到这里即可。如果需要保护隐私数据,请不要开启并配置该功能。
- 博查文档:https://aq6ky2b8nql.feishu.cn/wiki/XgeXwsn7oiDEC0kH6O3cUKtknSR
总结与参考
通过以上内容,我们了解了 Ollama 在国内环境下的安装使用方法,并介绍了因为国内网络特色导致安装过程可能会遇到的常见问题及解决办法。希望这些内容对你有所帮助,如果你有任何问题或建议,欢迎在评论区留言交流。
- ollama 官方站:https://ollama.com
- ollama 中文站:https://ollama.org.cn
- ollama 入门:https://ollama.readthedocs.io/quickstart/
- ollama 常见问题:https://ollama.readthedocs.io/faq/
- 魔塔社区:https://modelscope.cn
- HF Mirror:https://hf-mirror.com
- open-webui 文档:https://docs.openwebui.com
- 其他AI可视化应用工具参考
- ollama 社区集成应用工具列表参考
- chatbox: 一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
- anythingllm:开源免费且支持多模态交互的全栈 AI 客户端。支持本地应用形式运行和远程服务端部署。
- Cherry Studio 一款强大的多模型 AI 助手型客户端应用,支持 iOS、macOS 和 Windows 平台。拥有本地知识库功能,个人单机使用体验较好。
- Page Assist 浏览器插件。利用您本地运行的AI模型,在浏览网页时进行交互,或者作为本地AI模型提供者(如Ollama、Chrome AI等)的网页界面。
- Dify.AI 一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等,让您可以快速从原型到生产。
- chat-ui Open source codebase powering the HuggingChat app