====== Ollama ======

  * NVIDIA GeForce RTX 4060
  * [[https://ollama.com/download/windows]]

  * [[https://huggingface.co/prithivMLmods/OxCoder-9B-GGUF]]

<code>
C:\Users\Student>set OLLAMA_KEEP_ALIVE=-1

C:\Users\Student>ollama run 
qwen2.5-coder:7b
qwen2.5-coder:14b-instruct-q4_K_M
qwen2.5-coder:1.5b-base
ornith-1.5:9b
carstenuhlig/omnicoder-9b
hf.co/prithivMLmods/OxCoder-9B-GGUF:Q4_K_M

>>> /set verbose
Set 'verbose' mode.
>>> как дела?
Мне хорошо! Как у вас дела? Могу я помочь вам сегодня?

total duration:       817.8856ms
load duration:        113.4015ms
prompt eval count:    33 token(s)
prompt eval duration: 329.475ms
prompt eval rate:     100.16 tokens/s
eval count:           20 token(s)
eval duration:        372.598ms
eval rate:            53.68 tokens/s

C:\Users\Administrator>py -m pip install ollama
</code><code>
import ollama

try:
    print("Подключение к Ollama...")
    response = ollama.generate(
        model='qwen2.5-coder:7b',
        prompt='Привет! Ответь одним коротким предложением: ты работаешь?'
    )
    print("\nОтвет нейросети:")
    print(response['response'])
except Exception as e:
    print(f"\nОшибка: {e}")
    print("")
    print("Убедитесь, что приложение Ollama запущено в фоновом режиме!")
</code><code>
import base64
from ollama import Client

# 1. Настройки подключения к Caddy
USERNAME = "admin"
PASSWORD = "12345678"
# Укажите IP-адрес компьютера с Ollama и порт Caddy (8080)
CADDY_URL = "http://val.bmstu.ru:8080" 

try:
    print("Подключение к Ollama через Caddy...")
    
    # 2. Кодируем логин и пароль в формат Base64 для Basic Auth
    auth_str = f"{USERNAME}:{PASSWORD}"
    b64_auth = base64.b64encode(auth_str.encode()).decode()
    headers = {"Authorization": f"Basic {b64_auth}"}
    
    # 3. Создаем изолированный клиент с авторизацией
    client = Client(host=CADDY_URL, headers=headers)
    
    # 4. Делаем запрос через созданный клиент
    response = client.generate(
        model='qwen2.5-coder:7b',
        prompt='Привет! Ответь одним коротким предложением: ты работаешь?'
    )
    
    print("\nОтвет нейросети:")
    print(response['response'])

except Exception as e:
    print(f"\nОшибка: {e}")
    print("Убедитесь, что Caddy и Ollama запущены, а логин/пароль указаны верно!")

</code>