地端建立 Ollama 服務
開源軟體安裝流程
AI相關文章
BUBU 因為想要自建屬於自已的 LLM 服務,剛好之前陣為了 AI 服務而買了一張 NVIDIA P4 GPU 運算的設備來測試,那剛好最近有空閒已將該服務成功建立在 Linux 環境上運行, BUBU 使用 Ollama 開源服務建置
運行環境
環境都是在 「Proxmox VE 」 虛擬系統上架設,都是以 「 LXC 」模式為主,除非有特殊狀況會告知使用 「 VM 」 模式
系統環境: Debian 12
安裝過程
安裝顯示卡服務
如果您是用 Proxmox VE 顯示分享方式,如果遇到 k...