本地部署Ai大模型,Ollama+Open webui+沉浸式翻译
系统支持：Linux\mac\win
Github:https://github.com/open-webui/open-webui
本教程使用系统：飞牛OS（基于debian）
机器配置：R7 4750G、16G、无独显
使用模型：gemma2:2b （能做到流畅并快速翻译）
1：SSH连接Nas,root登录后，输入一键命令(包含ollama的open webui)
无GPU，仅限CPU模式
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
使用GPU模式
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
一键安装，完成后输入：https://localhost:3000 新建管理员账号密码，登录webui，
2：登录后点击头像-管理员面板-设置-外部连接（右上角弹出绿色标识：已验证服务器链接）
3：点击小扳手🔧，拉取模型：https://github.com/ollama/ollama 模型列表
4：以gemma2 （翻译水平相对较高）根据电脑配置来选择2B或9B。可以自行测试
5：拉取完成后，在open webui上选择模型后，即可使用AI对话。
下面是搭配沉浸式翻译使用
1，首先确定本地模型名称，如：gemma2:2b
2，设置-通用-
开启Enable API Key
开启API Key Endpoint Restrictions
Allowed Endpoints 下面填写：/api/chat/completions
3，点击用户名、设置、账号-显示API密钥-复制API密钥
4，将以上信息填入 沉浸式翻译
沉浸式翻译填写如下，注意自定义API接口的ip，根据实际ip添加，本机就填：localhost
然后点击：点此测试服务，验证成功即可。
以上配置全部完成
下面是使用效果
