开云-加速替代CUDA！摩尔线程开源vLLM

[导读]11月5日动静，近日，摩尔线程上线了年夜说话模子高速推理框架开源项目vLLM的MUSA移植版本，为开辟者供给基在摩尔线程全功能GPU进行开源项目MUSA移植的典范。 11月5日动静，近日，摩尔线程上线了年夜说话模子高速推理框架开源项目vLLM的MUSA移植版本，为开辟者供给基在摩尔线程全功能GPU进行开源项目MUSA移植的典范。 摩尔线程暗示，正尽力环绕自立研发的同一系统架构GPU、MUSA软件平台，构建完美好用的MUSA利用生态。 vLLM是一个高效且易用的年夜模子推理和办事框架，撑持立异的PagedAttention内存治理、持续批处置要求、CUDA/HIP图的快速模子履行、CUDA焦点优化、散布式推理撑持等，可显著提高峻说话模子(LLM)的推理机能。 今朝，vLLM已在各类年夜说话模子中获得普遍利用，成为业界经常使用的开源年夜模子推理框架。 摩尔线程基在vLLM v0.4.2版本，进行了移植适配，使之撑持摩尔线程GPU后端Device，并完全开源，开辟者可以二次开辟、进级vLLM到社区更新版本等。

欲知详情，请下载word文档 下载文档

北京2024年8月27日 /美通社/ -- 在8月23日举行的2024年长三角生态绿色一体化成长示范区结合招商会上，软通动力信息手艺（团体）股分有限公司（以下简称 软通动力 ）与长三角投资（上海）有限...

要害字： BSP 信息手艺

上海2024年8月26日 /美通社/ -- 本日，高端全合成润滑油品牌美孚1号联袂品牌体验官周冠宇，开启全新路程，助力泛博车主经由过程驾驶去摸索更广漠的世界。在全新发布的品牌视频中，周冠宇和分歧布景的消费者表达了对驾驶的酷爱...

要害字： BSP 汽车制造