Todas as alternativas › IA › llama.cpp
llama.cpp
Inferência de LLM em C/C++ em hardware comum
llama.cpp é um motor open source em C/C++ para executar LLMs no formato GGUF em CPUs e GPUs, com um servidor integrado.
llama.cpp comparado a ferramentas parecidas
| Produto | Preço | Código aberto | Auto-hospedável | Plataformas |
|---|---|---|---|---|
| llama.cpp | Grátis | Sim | Sim | Mac, Windows, Linux |
| vLLM | Grátis | Sim | Sim | Linux, Auto-hospedado |
| LocalAI | Grátis | Sim | Sim | Auto-hospedado, Linux, Mac |
| Ollama | Plano grátis | – | Sim | Mac, Windows, Linux |
| Open WebUI | Plano grátis | Sim | Sim | Auto-hospedado, Web |
| LiteLLM | Plano grátis | Sim | Sim | Auto-hospedado, API |
| Dify | Plano grátis | Sim | Sim | Web, Auto-hospedado |
Parecidos com llama.cpp
Open WebUI
Interface de chat auto-hospedada para LLMs locais e na nuvem
Plano grátis · Auto-hospedado, Web · Site ↗
AnythingLLM
App de IA tudo-em-um para conversar com seus documentos
Plano grátis · Mac, Windows, Linux, Auto-hospedado · Site ↗
Perguntas
llama.cpp é grátis?
Sim, llama.cpp é grátis.
llama.cpp é de código aberto?
Sim, llama.cpp é de código aberto.
Dá para auto-hospedar o llama.cpp?
Sim, você pode rodar o llama.cpp no seu próprio servidor.
Em quais plataformas o llama.cpp funciona?
llama.cpp está disponível para Mac, Windows, Linux.
Quais são as alternativas ao llama.cpp?
Produtos indie parecidos: vLLM, LocalAI, Ollama, Open WebUI e mais 4.
É o seu produto? Envie uma atualização.