ใช้ CPU เท่านั้น

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

การ์ดจอ NVIDIA GPU

ติดตั้ง NVIDIA Container Toolkit.

ติดตั้งด้วย Apt

1. กำหนดค่า repository ของแพ็กเกจ

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
       | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
       | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
       | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update

2. ติดตั้งแพ็กเกจของ NVIDIA Container Toolkit

   sudo apt-get install -y nvidia-container-toolkit

ติดตั้งด้วย Yum หรือ Dnf

1. กำหนดค่า repository ของแพ็กเกจ

   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
       | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2. ติดตั้งแพ็กเกจของ NVIDIA Container Toolkit

   sudo yum install -y nvidia-container-toolkit

กำหนดค่า Docker ให้ใช้ไดรเวอร์ NVIDIA

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

เริ่มต้นการทำงานของคอนเทน너

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

หมายเหตุ

หากคุณกำลังใช้งานบนระบบ NVIDIA JetPack Ollama จะไม่สามารถตรวจพบรุ่น JetPack ที่ถูกต้องได้โดยอัตโนมัติ ให้ส่งตัวแปรสภาพแวดล้อม JETSON_JETPACK=5 หรือ JETSON_JETPACK=6 เข้าสู่คอนเทน너เพื่อเลือกรุ่น 5 หรือ 6

การ์ดจอ AMD GPU

เพื่อรัน Ollama ด้วย Docker โดยใช้การ์ดจอ AMD GPU ให้ใช้แท็ก rocm และคำสั่งต่อไปนี้:

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

การรองรับ Vulkan

Vulkan ถูกรวมอยู่ในอิมเมจ ollama/ollama และเปิดใช้งานโดยค่าเริ่มต้นเมื่อคอนเทน너สามารถเข้าถึงอุปกรณ์ GPU ได้

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

ใช้ OLLAMA_VULKAN=0 เพื่อปิดการใช้งาน Vulkan หรือใช้ GGML_VK_VISIBLE_DEVICES=<ids> เพื่อเลือกอุปกรณ์ Vulkan เฉพาะ

รันโมเดลบนเครื่องท้องถิ่น

ตอนนี้คุณสามารถรันโมเดลได้แล้ว:

docker exec -it ollama ollama run llama3.2

ลองใช้โมเดลอื่นๆ

คุณสามารถหาโมเดลเพิ่มเติมได้ที่ Ollama library