Todas as alternativas › IA › vLLM
vLLM
Engine de inferência e serving de LLM de alto desempenho
vLLM é uma biblioteca open source para servir LLMs rapidamente, com PagedAttention, batching contínuo e um servidor compatível com OpenAI.
vLLM comparado a ferramentas parecidas
| Produto | Preço | Código aberto | Auto-hospedável | Plataformas |
|---|---|---|---|---|
| vLLM | Grátis | Sim | Sim | Linux, Auto-hospedado |
| LiteLLM | Plano grátis | Sim | Sim | Auto-hospedado, API |
| llama.cpp | Grátis | Sim | Sim | Mac, Windows, Linux |
| LocalAI | Grátis | Sim | Sim | Auto-hospedado, Linux, Mac |
| Ollama | Plano grátis | – | Sim | Mac, Windows, Linux |
| Open WebUI | Plano grátis | Sim | Sim | Auto-hospedado, Web |
| Dify | Plano grátis | Sim | Sim | Web, Auto-hospedado |
Parecidos com vLLM
Open WebUI
Interface de chat auto-hospedada para LLMs locais e na nuvem
Plano grátis · Auto-hospedado, Web · Site ↗
Perguntas
vLLM é grátis?
Sim, vLLM é grátis.
vLLM é de código aberto?
Sim, vLLM é de código aberto.
Dá para auto-hospedar o vLLM?
Sim, você pode rodar o vLLM no seu próprio servidor.
Em quais plataformas o vLLM funciona?
vLLM está disponível para Linux, Auto-hospedado.
Quais são as alternativas ao vLLM?
Produtos indie parecidos: LiteLLM, llama.cpp, LocalAI, Ollama e mais 4.
É o seu produto? Envie uma atualização.