User Tools

Site Tools


ollama

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
ollama [2026/08/22 11:52]
val
ollama [2026/11/18 10:03] (current)
val
Line 1: Line 1:
 ====== Ollama ====== ====== Ollama ======
  
 +  * NVIDIA GeForce RTX 4060
   * [[https://​ollama.com/​download/​windows]]   * [[https://​ollama.com/​download/​windows]]
 +  * [[https://​huggingface.co/​prithivMLmods/​OxCoder-9B-GGUF]]
  
 +  * Попробовать:​ https://​huggingface.co/​Jackrong/​DeepSeek-V4-Pro-Qwen3.5-9B-MTP-GGUF
 +  * Попробовать:​ Strata (Rust)
 +
 +  * [[Решение Caddy]]
 <​code>​ <​code>​
-C:\Users\Student>​ollama run qwen2.5-coder:7b+export BASE_URL=http://val.bmstu.ru:​8080/​v1 
 + ​export API_KEY=1234567890abcdefg 
 +export MODEL_ID=ornith-1.5:9b
  
-C:​\Users\Administrator>​py -m pip install ollama 
  
 +C:​\Users\Student>​set OLLAMA_KEEP_ALIVE=-1
 +
 +C:​\Users\Student>​ollama run 
 +qwen2.5-coder:​7b
 +qwen2.5-coder:​14b-instruct-q4_K_M
 +qwen2.5-coder:​1.5b-base
 +ornith-1.5:​9b
 +carstenuhlig/​omnicoder-9b
 +hf.co/​prithivMLmods/​OxCoder-9B-GGUF:​Q4_K_M
 +
 +>>>​ /set verbose
 +Set '​verbose'​ mode.
 +>>>​ как дела?
 +Мне хорошо! Как у вас дела? Могу я помочь вам сегодня?​
 +
 +total duration: ​      ​817.8856ms
 +load duration: ​       113.4015ms
 +prompt eval count: ​   33 token(s)
 +prompt eval duration: 329.475ms
 +prompt eval rate:     ​100.16 tokens/s
 +eval count: ​          20 token(s)
 +eval duration: ​       372.598ms
 +eval rate:            53.68 tokens/s
 +
 +C:​\Users\Administrator>​py -m pip install ollama
 +</​code><​code>​
 import ollama import ollama
  
Line 13: Line 46:
     print("​Подключение к Ollama..."​)     print("​Подключение к Ollama..."​)
     response = ollama.generate(     response = ollama.generate(
-        model='​phi3',+        model='​qwen2.5-coder:​7b',
         prompt='​Привет! Ответь одним коротким предложением:​ ты работаешь?'​         prompt='​Привет! Ответь одним коротким предложением:​ ты работаешь?'​
     )     )
Line 22: Line 55:
     print(""​)     print(""​)
     print("​Убедитесь,​ что приложение Ollama запущено в фоновом режиме!"​)     print("​Убедитесь,​ что приложение Ollama запущено в фоновом режиме!"​)
- +</​code><​code>​
 import base64 import base64
 from ollama import Client from ollama import Client
Line 31: Line 63:
 PASSWORD = "​12345678"​ PASSWORD = "​12345678"​
 # Укажите IP-адрес компьютера с Ollama и порт Caddy (8080) # Укажите IP-адрес компьютера с Ollama и порт Caddy (8080)
-CADDY_URL = "​http://​127.0.0.1:​8080" ​+CADDY_URL = "​http://​val.bmstu.ru:​8080" ​
  
 try: try:
Line 46: Line 78:
     # 4. Делаем запрос через созданный клиент     # 4. Делаем запрос через созданный клиент
     response = client.generate(     response = client.generate(
-        model='​phi3',+        model='​qwen2.5-coder:​7b',
         prompt='​Привет! Ответь одним коротким предложением:​ ты работаешь?'​         prompt='​Привет! Ответь одним коротким предложением:​ ты работаешь?'​
     )     )
ollama.1787388778.txt.gz · Last modified: 2026/08/22 11:52 by val