MyAI  ·  Esegui LLM Open Source in Locale su Linux Lite

Devstral Small 2 (24B) è il modello open source di Mistral orientato al codice — la migliore opzione locale per la programmazione agentiva, la revisione del codice e le modifiche multi-file. Llama 3.1 8B e Qwen 2.5 14B sono valide alternative per uso generale quando la VRAM è limitata. Tutti girano su Linux Lite tramite MyAI senza cloud né account richiesti.

Sì. MyAI su Linux Lite utilizza Ollama per eseguire LLM open source interamente sul tuo hardware. I modelli più piccoli come Gemma 3 Mini girano su CPU con appena 4 GB di RAM; i modelli flagship più grandi come Llama 3.3 70B richiedono una GPU da workstation. Il selettore hardware di MyAI sceglie i modelli che funzioneranno davvero sulla tua macchina.

I più forti LLM open source per l'inferenza locale sono Meta Llama 3.3 70B, Mistral Mixtral 8x7B / 8x22B, Google Gemma 2 27B, Alibaba Qwen 3.6 e Mistral Devstral Small 2 (il migliore per la programmazione). Per la chat veloce, Zhipu GLM 4.7 Flash è eccellente. Il miglior modello linguistico piccolo (SLM) per hardware di fascia bassa è Gemma 3 Mini.

MyAI include un catalogo curato di modelli verificati, ma qualsiasi modello compatibile con Ollama — incluse le varianti DeepSeek — può essere scaricato direttamente con ollama pull <model> dopo aver installato MyAI. Il motore di raccomandazione abbina automaticamente i modelli disponibili alla tua CPU, RAM, GPU e VRAM.

Per i modelli linguistici piccoli (1–3B): 2–6 GB di RAM, qualsiasi CPU moderna. Per i modelli di medie dimensioni (7–14B): 10–16 GB di RAM o una GPU con 6–12 GB. Per i modelli grandi (27B–70B+): 32 GB+ di RAM e 18–48 GB di VRAM. MyAI somma la VRAM su configurazioni multi-GPU NVIDIA (sempre) e schede AMD compatibili ROCm.

MCP è uno standard aperto per collegare assistenti AI a strumenti esterni, file e fonti di dati, diffusosi nel 2024. MyAI esegue i modelli in locale tramite l'API HTTP di Ollama, con cui i client compatibili con MCP e i flussi di lavoro agentivi possono comunicare direttamente. Questo consente di costruire agenti AI privati che operano sui propri dati senza passaggi nel cloud.

Sì. MyAI è gratuito, open source e funziona interamente sul tuo computer. Nessun account. Nessun abbonamento. Nessun cloud. Nessuna telemetria. Dopo il primo download del modello funziona completamente offline — una vera alternativa privata a ChatGPT, Claude o Gemini per gli utenti che tengono alla proprietà dei dati.

Llama 3.1 8B è il miglior tuttofare per uso generale sui desktop tipici. Mistral 7B eccelle nel seguire istruzioni e nel ragionamento a dimensioni ridotte. Qwen 2.5 14B / Qwen 3.6 sono i più forti per attività multilingue, contesti lunghi e matematica. Per la programmazione nello specifico, Devstral Small 2 (anch'esso di Mistral) supera tutti e tre.

RAG combina un LLM locale con una fase di ricerca sui propri documenti, così il modello può rispondere a domande basandosi sui tuoi dati senza caricarli da nessuna parte. MyAI espone l'API HTTP di Ollama su 127.0.0.1:7070, che qualsiasi framework RAG (LangChain, LlamaIndex, ecc.) può utilizzare come destinazione per flussi di lavoro di recupero completamente locali.

Sì. L'unica attività di rete è il download iniziale del modello (tipicamente da 0,6 a 80 GB a seconda del modello scelto). Una volta che il modello è su disco, MyAI funziona completamente offline — nessuna connessione internet richiesta per chat, aiuto con la programmazione o qualsiasi altro compito AI.