Indie Alternatives

Alle Alternativen › KI › vLLM

vLLM

LLM-Inferenz- und Serving-Engine mit hohem Durchsatz

vLLM ist eine Open-Source-Bibliothek für schnelles LLM-Serving mit PagedAttention, Continuous Batching und OpenAI-kompatiblem Server.

vLLM besuchen ↗

Preis: Kostenlos

Plattformen: Linux, Self-Hosting

Kategorien: KI, Entwicklertools

vLLM im Vergleich mit ähnlichen Tools

ProduktPreisOpen SourceSelf-HostingPlattformen
vLLMKostenlosJaJaLinux, Self-Hosting
LiteLLMGratis-PlanJaJaSelf-Hosting, API
llama.cppKostenlosJaJaMac, Windows, Linux
LocalAIKostenlosJaJaSelf-Hosting, Linux, Mac
OllamaGratis-Plan–JaMac, Windows, Linux
Open WebUIGratis-PlanJaJaSelf-Hosting, Web
DifyGratis-PlanJaJaWeb, Self-Hosting

Ähnlich wie vLLM

LiteLLM

Open-Source-LLM-Gateway und SDK für über 100 Anbieter

Gratis-Plan · Self-Hosting, API · Website ↗

llama.cpp

LLM-Inferenz in C/C++ auf alltäglicher Hardware

Kostenlos · Mac, Windows, Linux · Website ↗

LocalAI

Self-Hosted, OpenAI-kompatible API für lokale Modelle

Kostenlos · Self-Hosting, Linux, Mac · Website ↗

Ollama

Offene große Sprachmodelle lokal ausführen

Gratis-Plan · Mac, Windows, Linux · Website ↗

Open WebUI

Self-Hosted-Chatoberfläche für lokale und Cloud-LLMs

Gratis-Plan · Self-Hosting, Web · Website ↗

Dify

Open-Source-Plattform zum Entwickeln von LLM-Apps und Agents

Gratis-Plan · Web, Self-Hosting · Website ↗

Flowise

Drag-and-drop-Builder für KI-Agents und LLM-Flows

Gratis-Plan · Web, Self-Hosting · Website ↗

Gotify

Self-Hosted-Server zum Senden und Empfangen von Nachrichten

Kostenlos · Self-Hosting, Android, Web · Website ↗

Fragen

Ist vLLM kostenlos?

Ja, vLLM ist kostenlos.

Ist vLLM Open Source?

Ja, vLLM ist Open Source.

Kann man vLLM selbst hosten?

Ja, vLLM lässt sich auf dem eigenen Server betreiben.

Auf welchen Plattformen läuft vLLM?

vLLM gibt es für Linux, Self-Hosting.

Welche Alternativen gibt es zu vLLM?

Ähnliche Indie-Produkte: LiteLLM, llama.cpp, LocalAI, Ollama und 4 weitere.

Dein Produkt? Update einreichen.