RTX 5090跑DeepSeek机能测试 超7900 XTX一倍

克日，NVIDIA发布其NIM（NVIDIA Inference Microservices）技巧现已支撑DeepSeek-R1。NIM是一种云原生微效劳技巧，旨在简化天生式AI模子在云端、数据核心及GPU减速任务站上的安排流程。NVIDIA官网宣布文章指出，DeepSeek-R1是现在开始进的推理开放模子。该模子经由过程对查问停止屡次推理处置，采取连锁头脑、共鸣跟搜查方式来天生最佳谜底。为了辅助开辟者保险地实验这些功效，并构建本人的专门代办，DeepSeek-R1模子现已作为NVIDIA NIM微效劳预览版上线应用。在机能测试方面，依据外媒的测试，RTX 5090在DeepSeek R上的推感性能明显优于AMD的RX 7900 XTX，机能至少翻了一倍。测试成果表现，在多个DeepSeek R1型号中，RTX 5090不只显明当先于RX 7900 XTX，也比RTX 4090快了不少。详细来说，在Distill Qwen 7b跟Distill Llama 8b模子中，RTX 5090每秒可运转200个Tokens，多少乎是RX 7900 XTX的两倍。这一数据进一步证明了RTX 5090在推感性能上的明显上风。