User Tools
ollama
Differences
This shows you the differences between two versions of the page.
| Next revision | Previous revision | ||
|
ollama [2026/08/21 15:50] val created |
ollama [2026/09/09 09:54] (current) val |
||
|---|---|---|---|
| Line 1: | Line 1: | ||
| ====== Ollama ====== | ====== Ollama ====== | ||
| + | * NVIDIA GeForce RTX 4060 | ||
| + | * [[https://ollama.com/download/windows]] | ||
| + | |||
| + | * [[https://huggingface.co/prithivMLmods/OxCoder-9B-GGUF]] | ||
| + | |||
| + | <code> | ||
| + | C:\Users\Student>set OLLAMA_KEEP_ALIVE=-1 | ||
| + | |||
| + | C:\Users\Student>ollama run | ||
| + | qwen2.5-coder:7b | ||
| + | qwen2.5-coder:14b-instruct-q4_K_M | ||
| + | qwen2.5-coder:1.5b-base | ||
| + | ornith-1.5:9b | ||
| + | carstenuhlig/omnicoder-9b | ||
| + | hf.co/prithivMLmods/OxCoder-9B-GGUF:Q4_K_M | ||
| + | |||
| + | >>> /set verbose | ||
| + | Set 'verbose' mode. | ||
| + | >>> как дела? | ||
| + | Мне хорошо! Как у вас дела? Могу я помочь вам сегодня? | ||
| + | |||
| + | total duration: 817.8856ms | ||
| + | load duration: 113.4015ms | ||
| + | prompt eval count: 33 token(s) | ||
| + | prompt eval duration: 329.475ms | ||
| + | prompt eval rate: 100.16 tokens/s | ||
| + | eval count: 20 token(s) | ||
| + | eval duration: 372.598ms | ||
| + | eval rate: 53.68 tokens/s | ||
| + | |||
| + | C:\Users\Administrator>py -m pip install ollama | ||
| + | </code><code> | ||
| + | import ollama | ||
| + | |||
| + | try: | ||
| + | print("Подключение к Ollama...") | ||
| + | response = ollama.generate( | ||
| + | model='qwen2.5-coder:7b', | ||
| + | prompt='Привет! Ответь одним коротким предложением: ты работаешь?' | ||
| + | ) | ||
| + | print("\nОтвет нейросети:") | ||
| + | print(response['response']) | ||
| + | except Exception as e: | ||
| + | print(f"\nОшибка: {e}") | ||
| + | print("") | ||
| + | print("Убедитесь, что приложение Ollama запущено в фоновом режиме!") | ||
| + | </code><code> | ||
| + | import base64 | ||
| + | from ollama import Client | ||
| + | |||
| + | # 1. Настройки подключения к Caddy | ||
| + | USERNAME = "admin" | ||
| + | PASSWORD = "12345678" | ||
| + | # Укажите IP-адрес компьютера с Ollama и порт Caddy (8080) | ||
| + | CADDY_URL = "http://val.bmstu.ru:8080" | ||
| + | |||
| + | try: | ||
| + | print("Подключение к Ollama через Caddy...") | ||
| + | | ||
| + | # 2. Кодируем логин и пароль в формат Base64 для Basic Auth | ||
| + | auth_str = f"{USERNAME}:{PASSWORD}" | ||
| + | b64_auth = base64.b64encode(auth_str.encode()).decode() | ||
| + | headers = {"Authorization": f"Basic {b64_auth}"} | ||
| + | | ||
| + | # 3. Создаем изолированный клиент с авторизацией | ||
| + | client = Client(host=CADDY_URL, headers=headers) | ||
| + | | ||
| + | # 4. Делаем запрос через созданный клиент | ||
| + | response = client.generate( | ||
| + | model='qwen2.5-coder:7b', | ||
| + | prompt='Привет! Ответь одним коротким предложением: ты работаешь?' | ||
| + | ) | ||
| + | | ||
| + | print("\nОтвет нейросети:") | ||
| + | print(response['response']) | ||
| + | |||
| + | except Exception as e: | ||
| + | print(f"\nОшибка: {e}") | ||
| + | print("Убедитесь, что Caddy и Ollama запущены, а логин/пароль указаны верно!") | ||
| + | |||
| + | </code> | ||
ollama.1787316644.txt.gz · Last modified: 2026/08/21 15:50 by val
Page Tools
Except where otherwise noted, content on this wiki is licensed under the following license: CC Attribution-Share Alike 4.0 International
