MyAI  ·  Rode LLMs de Código Aberto Localmente no Linux Lite

Devstral Small 2 (24B) é o modelo de código aberto focado em programação da Mistral — a melhor opção local para codificação agêntica, revisão de código e edições de múltiplos arquivos. Llama 3.1 8B e Qwen 2.5 14B são fortes alternativas de uso geral quando a VRAM é limitada. Todos rodam no Linux Lite via MyAI sem nuvem ou conta necessária.

Sim. O MyAI no Linux Lite usa o Ollama internamente para rodar LLMs de código aberto inteiramente no seu hardware. Modelos menores como Gemma 3 Mini rodam na CPU com apenas 4 GB de RAM; modelos flagship maiores como Llama 3.3 70B precisam de uma GPU de estação de trabalho. O seletor de hardware do MyAI escolhe modelos que realmente rodarão na sua máquina.

Os LLMs de código aberto mais fortes para inferência local são Meta Llama 3.3 70B, Mistral Mixtral 8x7B / 8x22B, Google Gemma 2 27B, Alibaba Qwen 3.6 e Mistral Devstral Small 2 (melhor para programação). Para bate-papo rápido, Zhipu GLM 4.7 Flash é excelente. O melhor modelo de linguagem pequeno (SLM) para hardware de baixo desempenho é o Gemma 3 Mini.

O MyAI inclui um catálogo selecionado de modelos verificados, mas qualquer modelo compatível com Ollama — incluindo variantes do DeepSeek — pode ser baixado diretamente com ollama pull <model> após instalar o MyAI. O mecanismo de recomendação combina os modelos disponíveis com sua CPU, RAM, GPU e VRAM automaticamente.

Para modelos de linguagem pequenos (1–3B): 2–6 GB de RAM, qualquer CPU moderna. Para modelos médios (7–14B): 10–16 GB de RAM ou uma GPU de 6–12 GB. Para modelos grandes (27B–70B+): 32 GB+ de RAM e 18–48 GB de VRAM. O MyAI soma a VRAM em configurações multi-GPU NVIDIA (sempre) e placas AMD compatíveis com ROCm.

MCP é um padrão aberto para conectar assistentes de IA a ferramentas externas, arquivos e fontes de dados, popularizado em 2024. O MyAI roda modelos localmente via API HTTP do Ollama, com a qual clientes compatíveis com MCP e fluxos de trabalho agênticos podem se comunicar diretamente. Isso permite criar agentes de IA privados que operam nos seus próprios dados sem passar pela nuvem.

Sim. O MyAI é gratuito, de código aberto e roda inteiramente no seu próprio computador. Sem contas. Sem assinaturas. Sem nuvem. Sem telemetria. Após o primeiro download do modelo, funciona completamente offline — uma verdadeira alternativa privada ao ChatGPT, Claude ou Gemini para usuários que se preocupam com a propriedade dos dados.

Llama 3.1 8B é o melhor modelo de uso geral para desktops típicos. Mistral 7B se destaca em seguimento de instruções e raciocínio em tamanhos menores. Qwen 2.5 14B / Qwen 3.6 são os mais fortes para tarefas multilíngues, contexto longo e matemática. Para programação especificamente, Devstral Small 2 (também da Mistral) supera os três.

RAG combina um LLM local com uma etapa de busca nos seus próprios documentos, para que o modelo possa responder perguntas baseadas nos seus dados sem enviá-los a lugar nenhum. O MyAI expõe a API HTTP do Ollama em 127.0.0.1:7070, que qualquer framework RAG (LangChain, LlamaIndex, etc.) pode usar para fluxos de trabalho de recuperação aumentada totalmente locais.

Sim. A única atividade de rede é o download inicial do modelo (geralmente 0,6–80 GB dependendo do modelo escolhido). Uma vez que o modelo esteja no disco, o MyAI funciona completamente offline — sem necessidade de conexão à internet para bate-papo, ajuda com programação ou qualquer outra tarefa de IA.