英特尔Gaudi 2D AI减速器深度优化DeepSeek Janus Pro

英特尔Gaudi 2D凭仗2.45TB/秒的高带宽跟96GB HBM年夜容量内存，为DeepSeek Janus Pro模子供给了强盛的盘算支撑，使其在生图批处置义务中，跟着批量巨细（Batch Size）的增添，吞吐机能失掉明显晋升，年夜幅收缩义务处置时光。克日，DeepSeek宣布Janus Pro模子，其超强机能跟高精度惹起业界存眷。英特尔Gaudi 2D AI减速器现已针对该模子停止优化，这使得AI开辟者可能以更低本钱、更高效力实现庞杂义务的安排与优化，无效满意行业利用对推理算力的需要，为AI利用的落地跟范围化开展供给强无力的支撑。作为一款翻新性的AIGC模子，DeepSeek Janus模子集成了多模态懂得跟天生功效。该模子初次采取同一的Transformer架构，冲破了传统AIGC模子依附多门路视觉编码的限度，实现了懂得与天生义务的一体化支撑。在此基本上，Janus Pro经由过程优化练习战略跟扩大模子范围，明显晋升了文生图等功效的机能与稳固性，并供给了10亿参数跟70亿参数两个版本，在机能与精度上展示了较强的竞争力。（图片起源：https://github.com/deepseek-ai/Janus/blob/main/images/teaser_januspro.png） 在Janus Pro同一的Transformer架构下，文生图模子的吞吐量高下曾经从依附减速器的高算力向充足应用HBM内存高带宽跟年夜容量转换。英特尔Gaudi 2D凭仗2.45TB/秒的高带宽跟96GB HBM年夜容量内存，为Janus Pro模子供给了强盛的盘算支撑，使其在生图批处置义务中，跟着批量巨细（Batch Size）的增添，吞吐机能失掉明显晋升，年夜幅收缩义务处置时光。与此同时，联合英特尔Optimum-Habana框架的优化，英特尔Gaudi 2D明显晋升了文生图义务的吞吐机能跟推理效力，仅需约10秒即可天生16张高品质的图片，机能表示出色。并且，开辟者仅需调剂数行代码，即可实现这一成果，极年夜下降了开辟门槛跟迁徙本钱，为AI利用的高效安排供给方便。图片起源：应用英特尔Gaudi 2D AI减速器运转DeepSeek Janus-Pro-7B模子天生 别的，DeepSeek的蒸馏模子在至强跟Gaudi平台上也失掉了支撑，可能为客户发明更好的总体领有本钱（TCO），推进AI的普惠。始终以来，英特尔一直承袭开放的立场，并经由过程软硬件相联合的方法推进AI利用落地。现在，英特尔丰盛的AI产物组合，包含英特尔至强处置器、英特尔Gaudi AI减速器、英特尔酷睿Ultra处置器跟英特尔锐炫显卡等，曾经针对业界超越500个开源AI模子供给支撑，普遍涵盖DeepSeek、Llama 3.1跟通义千问等。同时，英特尔深耕开放生态，不只以开放生态体系软件实现针对性优化，也经由过程打造企业AI开放平台（OPEA）为这些模子供给支撑。