Локальные модели и большие загрузки

загрузка моделей в Ollama и LM Studio и советы для больших файлов.

Ollama

Модели скачивает процесс ollama serve, поэтому прокси нужен именно ему.

  • Приложение для macOS:
bash
launchctl setenv HTTPS_PROXY http://127.0.0.1:7898
# затем закройте и снова откройте Ollama
  • Linux (systemd):
bash
sudo systemctl edit ollama
# в открывшемся редакторе добавьте:
# [Service]
# Environment="HTTPS_PROXY=http://127.0.0.1:7898"
sudo systemctl restart ollama
  • Ручной запуск: HTTPS_PROXY=http://127.0.0.1:7898 ollama serve

LM Studio

Settings → Proxy, укажите http://127.0.0.1:7898 (меню зависит от версии); в режиме PAC обычно работает автоматически.

Советы для больших загрузок

  • Выбирайте инструменты с докачкой: huggingface-cli download, aria2c, curl -C -.
  • Следите за трафиком: веса модели на 70B могут превышать 100 ГБ — проверьте остаток трафика и при необходимости купите пакет.