Ollama inkl. Modelle mit NVIDIA GPU-Unterstützung unter Docker offline ausführen + OpenWebUI

wsl --install

wsl --set-default-version 2

wsl
nvidia-smi

# Aktuellste Ollama-Version herunterladen
docker pull ollama/ollama:latest

# Falls eine bestimmte Version nötig ist (z. B. v0.5.6):
docker pull ollama/ollama:v0.5.6

# Container starten
docker run -d --name ollama --gpus all -p 11434:11434 -v ollama_data:/root/.ollama ollama/ollama:latest

# Falls eine bestimmte Version nötig ist (z. B. v0.5.6):
docker run -d --name ollama --gpus all -p 11434:11434 -v ollama_data:/root/.ollama ollama/ollama:v0.5.6

# Prüfen, ob der Container läuft
docker ps

# Prüfen, ob Ollama die GPU verwendet
docker logs ollama | Select-String "GPU"

# Deepseek-R1 Modell herunterladen
docker exec -it ollama ollama pull deepseek-r1

# Teuken Modell herunterladen
# fl0id/teuken-7b-instruct-commercial-v0.4

# Liste der geladenen Modelle anzeigen
docker exec -it ollama ollama list

# Modell testen
docker exec -it ollama ollama run deepseek-r1 "Wer war Albert Einstein?"

docker exec -it ollama ollama pull llama3.2:latest
docker exec -it ollama ollama run llama3.2 "Erkläre die Relativitätstheorie in einfachen Worten."

# Container stoppen & entfernen
docker stop ollama
docker rm ollama

# Gespeicherte Modelle & Daten löschen
docker volume rm ollama_data

# Optional: ALLE nicht verwendeten Docker-Daten entfernen
docker system prune -a

docker pull ghcr.io/open-webui/open-webui:main

# Falls eine bestimmte Version nötig ist
docker pull ghcr.io/open-webui/open-webui:v0.1.0

docker run -d --name openwebui -p 8080:8080 -v openwebui_data:/app/data ghcr.io/open-webui/open-webui:main

# Überprüfen, ob der Docker Container unter Port 8080 läuft
docker logs openwebui | Select-String "Uvicorn running"

http://localhost:8080/