Ollama
C:\Users\Student>set OLLAMA_KEEP_ALIVE=-1
C:\Users\Student>ollama run
qwen2.5-coder:7b
qwen2.5-coder:14b-instruct-q4_K_M
ornith-1.5:9b
>>> /set verbose
Set 'verbose' mode.
>>> как дела?
Мне хорошо! Как у вас дела? Могу я помочь вам сегодня?
total duration: 817.8856ms
load duration: 113.4015ms
prompt eval count: 33 token(s)
prompt eval duration: 329.475ms
prompt eval rate: 100.16 tokens/s
eval count: 20 token(s)
eval duration: 372.598ms
eval rate: 53.68 tokens/s
C:\Users\Administrator>py -m pip install ollama
import ollama
try:
print("Подключение к Ollama...")
response = ollama.generate(
model='qwen2.5-coder:7b',
prompt='Привет! Ответь одним коротким предложением: ты работаешь?'
)
print("\nОтвет нейросети:")
print(response['response'])
except Exception as e:
print(f"\nОшибка: {e}")
print("")
print("Убедитесь, что приложение Ollama запущено в фоновом режиме!")
import base64
from ollama import Client
# 1. Настройки подключения к Caddy
USERNAME = "admin"
PASSWORD = "12345678"
# Укажите IP-адрес компьютера с Ollama и порт Caddy (8080)
CADDY_URL = "http://val.bmstu.ru:8080"
try:
print("Подключение к Ollama через Caddy...")
# 2. Кодируем логин и пароль в формат Base64 для Basic Auth
auth_str = f"{USERNAME}:{PASSWORD}"
b64_auth = base64.b64encode(auth_str.encode()).decode()
headers = {"Authorization": f"Basic {b64_auth}"}
# 3. Создаем изолированный клиент с авторизацией
client = Client(host=CADDY_URL, headers=headers)
# 4. Делаем запрос через созданный клиент
response = client.generate(
model='qwen2.5-coder:7b',
prompt='Привет! Ответь одним коротким предложением: ты работаешь?'
)
print("\nОтвет нейросети:")
print(response['response'])
except Exception as e:
print(f"\nОшибка: {e}")
print("Убедитесь, что Caddy и Ollama запущены, а логин/пароль указаны верно!")