Show HN：在單一 GPU 上運行百個大型 AI 模型，對首次 Token 生成時間影響極小

這篇 Hacker News 的貼文介紹了名為 'flashtensors' 的新型推理引擎，旨在讓單一 GPU 能夠運行大量大型 AI 模型，同時將首次 Token 生成時間（TTFT）的影響降至最低。該引擎聲稱能將模型從 SSD 加載到 GPU VRAM 的速度提升高達 10 倍，並能在 2 秒內快速切換模型。