vLLM
高スループットなLLM推論・サービングエンジン
vLLMは、PagedAttention、連続バッチ処理、OpenAI互換サーバーを備えた、高速なLLMサービングのためのオープンソースライブラリ。
vLLM と類似ツールの比較
| プロダクト | 価格 | オープンソース | セルフホスト | 対応環境 |
|---|---|---|---|---|
| vLLM | 無料 | ○ | ○ | Linux、セルフホスト |
| LiteLLM | 無料プランあり | ○ | ○ | セルフホスト、API |
| llama.cpp | 無料 | ○ | ○ | Mac、Windows、Linux |
| LocalAI | 無料 | ○ | ○ | セルフホスト、Linux、Mac |
| Ollama | 無料プランあり | – | ○ | Mac、Windows、Linux |
| Open WebUI | 無料プランあり | ○ | ○ | セルフホスト、Web |
| Dify | 無料プランあり | ○ | ○ | Web、セルフホスト |
vLLM に似たツール
よくある質問
vLLM は無料ですか？
はい、vLLM は無料です。
vLLM はオープンソースですか？
はい、vLLM はオープンソースです。
vLLM はセルフホストできますか？
はい、vLLM は自分のサーバーで動かせます。
vLLM はどの環境で使えますか？
vLLM は Linux、セルフホスト で使えます。
vLLM の代わりになるツールは？
似たインディープロダクト：LiteLLM、llama.cpp、LocalAI、Ollama ほか4件。
あなたのプロダクトですか？ 情報を更新する。