DeepSeek在M芯片Mac上本地化部署

PyJc8Q · 4 天前

在 Mac 上使用 Ollama 运行 DeepSeek-R1，并通过 Open-WebUI 提供 Web 端访问。
1. 安装 Ollama

Ollama官方：https://ollama.com/
Ollama 是一个轻量级的 AI 推理框架，支持本地运行 LLM（大型语言模型）。首先，下载并安装 Ollama。
mac原生工具brew安装ollama
$ brew install --cask ollamaRunning `brew update --auto-update`...==> Auto-updated Homebrew!Updated 2 taps (homebrew/core and homebrew/cask).==> New Formulaebpmnlint       gersemi          i686-elf-grub    kirimase       org-formation    rattler-index    semver          todoist          x86_64-elf-grubcf-terraforming globstar       immich-go       largetifftools ov             rhai             sequoia-sqv    trdsql          yokecloudfoundry-cli  gotz             kafkactl       lazyjournal    pivy             rpds-py          sttr             typioca          yttfortitude       hishtory       kapp             mox             punktf          sdl3_ttf       tml             unciv==> New Caskscandy-crisis                            font-winky-sans                         opera-air                               trae-cnconsul                                  fuse-t                                  pairpods                               ua-midi-controlfocu                                     macskk                                  pareto-security                         veracrypt-fuse-tfont-sf-mono-nerd-font-ligaturized       nvidia-nsight-compute                   traeYou have 13 outdated formulae and 1 outdated cask installed.==> Downloading https://github.com/ollama/ollama/releases/download/v0.5.13/Ollama-darwin.zip==> Downloading from https://objects.githubusercontent.com/github-production-release-asset-2e65be/658928958/2dc24c17-0bc0-487a-92d1-0265efd65a14?X-Amz-Algorithm=AWS4-############################################################################################################################################################### 100.0%==> Installing Cask ollama==> Moving App 'Ollama.app' to '/Applications/Ollama.app'==> Linking Binary 'ollama' to '/opt/homebrew/bin/ollama'🍺  ollama was successfully installed!检查Ollama是否安装成功，成功会显示版本号，如：ollama version is 0.5.13
$ ollama --versionWarning: could not connect to a running Ollama instanceWarning: client version is 0.5.132. 下载模型

下载 DeepSeek-R1 模型
模型下载地址：https://ollama.ai/library/deepseek-r1
该命令会自动下载 DeepSeek-R1 1.5B 版本的模型，并存储在本地。
$  ollama pull deepseek-r1:7bpulling manifestpulling 96c415656d37... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GBpulling 369ca498f347... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏  387 Bpulling 6e4c38e1172f... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KBpulling f4d24e9138dd... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏  148 Bpulling 40fb844194b2... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏  487 Bverifying sha256 digestwriting manifestsuccess3.本地运行 DeepSeek-R1

执行后，终端会进入交互模式，可以直接输入文本与模型进行对话。
# 查看已下载的模型$ ollama listNAME             ID             SIZE    MODIFIEDdeepseek-r1:7b 0a8c26691023 4.7 GB 24 seconds ago# 运行模型$ ollama run deepseek-r1:7b>>> Send a message (/? for help)4.通过 Open-WebUI 运行

使用 Web 界面交互模型，可以安装 Open-WebUI。该工具提供了一个用户友好的 Web 前端，使得 DeepSeek-R1 更加易用。
克隆 Open-WebUI 仓库
$ git clone https://github.com/open-webui/open-webui.gitCloning into 'open-webui'...remote: Enumerating objects: 91391, done.remote: Counting objects: 100% (131/131), done.remote: Compressing objects: 100% (74/74), done.remote: Total 91391 (delta 70), reused 57 (delta 57), pack-reused 91260 (from 2)Receiving objects: 100% (91391/91391), 177.81 MiB | 3.98 MiB/s, done.Resolving deltas: 100% (60008/60008), done.Updating files: 100% (4575/4575), done.启动 Open-WebUI 容器
mac安装docker,安装完成后应用程序中会有docker程序，点击即可启动
brew install --cask --appdir=/Applications docker启动docker
docker run -d \  -p 3000:8080 \  --add-host=host.docker.internal:host-gateway \  -v open-webui:/app/backend/data \  --name open-webui \  --restart always \  ghcr.io/open-webui/open-webui:mainUnable to find image 'ghcr.io/open-webui/open-webui:main' locallymain: Pulling from open-webui/open-webuid51c377d94da: Pull complete987cac002684: Pull complete076b75118273: Pull complete157e623d2984: Pull complete40d5353a5918: Pull complete4f4fb700ef54: Pull completeaebeb0b4e5d0: Pull complete03f562834d64: Pull completedc0f62a912f5: Pull complete93fdf9ebd111: Pull complete596be9ce6130: Pull complete07dc67f42781: Pull complete7c2ef53b15e7: Pull completee5511c24fa69: Pull complete69de4f91fd38: Pull completeDigest: sha256:74fc3c741a5f3959c116dd5abc61e4b27d36d97dff83a247dbb4209ffde56372Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main26b786db658d187c2b82256fcbf33102c8c10c25b1087393483272e53708908b• -p 3000:8080：将容器的 8080 端口映射到本机 3000 端口；
• --add-host=host.docker.internal:host-gateway：允许容器访问宿主机网络；
• -v open-webui:/app/backend/data：挂载数据存储目录，保存容器的状态和数据。
• --restart always：确保容器在重启后自动运行；
• ghcr.io/open-webui/open-webui:main：拉取 Open-WebUI 的最新版本镜像。
运行容器后，访问 http://localhost:3000 即可访问 Open-WebUI。
#停止容器docker stop open-webui#删除容器docker rm open-webui#删除存储数据docker volume rm open-webui