Microsoft zverejnil pre verejnosť svoj jazykový model Phi-4

Microsoft tento týždeň zverejnil na Hugging Face svoj najnovší jazykový model Phi-4. Jedná sa o malý jazykový model, ktorý má približne 14 miliárd parametrov. Model zaberie na disku okolo 9 GB a je ho možné spúšťať lokálne na bežnom počítači.

Model bol trénovaný na verejne dostupných a syntetických dátach. Bolo použitých takmer 10 biliónov tokenov. Model je zverejnený pod licenciou MIT. Je skutočne pozoruhodné, že tento malý jazykový model sa dokáže v niektorých benchmarkoch priblížiť veľkým jazykovým modelom, ktoré majú nepomerne väčšie nároky na zdroje.

Phi-4 si môžeme jednoducho vyskúšať pomocou nástroja Ollama.

$ ollama pull phi4

Najprv si stiahneme model.

$ ollama list
NAME              ID              SIZE      MODIFIED
phi4:latest       ac896e5b8b34    9.1 GB    2 hours ago
mistral:latest    f974a74358d6    4.1 GB    4 weeks ago

Model má približne 9 GB.

$ ollama run phi4

Model naštartujeme pomocou príkazu ollama run, ktorý spustí model a poskytne prompt.

Na komunikáciu s modelom pomocou programovacieho jazyka môžeme použiť napríklad ollama knižnicu jazyka Python.

# pip install ollama

from ollama import chat

message = {
    "model": "phi4",
    "messages": [{"role": "user", "content": "Is pluto a planet?"}]
}

resp = chat(model=message["model"], messages=message["messages"])
print(resp["message"]["content"])