vLLM¶
约 21 个字 18 行代码 预计阅读时间不到 1 分钟
正在施工中👷..
安装 ¶
uv venv --python 3.12 --seedsource .venv/bin/activateuv pip install vllm --torch-backend=autoInstalled
uv pip install lmcacheuv pip install nixluv pip install vllmuv pip install pandasuv pip install datasetsInstalled
cd vllm/examples/others/lmcache/disagg_prefill_lmcache_v1