加速替代CUDA！摩尔线程开源vLLM
发布时间：2024-12-26 14:44:50 作者：玩站小弟 
我要评论
我要评论11月5日消息，近日，摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。摩尔线程表示，正努力围绕自主研发的统一
。
11月5日消息，加速近日，替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。
摩尔线程表示，加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台，线程构建完善好用的开源MUSA应用生态。
vLLM是加速一个高效且易用的大模型推理和服务框架，支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等，替代可显著提高大语言模型（LLM）的线程推理性能。
目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。
同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址：
https://github.com/MooreThreads/vLLM_musa
相关文章
12月23日讯 据《慢镜头》报道称，特奥在冬窗很难有报价，曼联和拜仁只考虑夏窗引进。战胜维罗纳让米兰的氛围恢复了平静，接下来的目标是赢下罗马和意超杯，如果米兰能够夺冠，那么本赛季的下半程将会呈现不同的2024-12-26
纳什换队，詹姆斯也换队，为什么詹姆斯盆满钵满，纳什颗粒无收？
纳什换队，詹姆斯也换队，为什么詹姆斯盆满钵满，纳什颗粒无收？由纳什效率无敌发表在篮球资讯 502如题如题2024-12-26
米兰圈舍甫琴科入选了新一期的意大利足球名人堂，本周他来到意大利科维尔恰诺训练基地出席颁奖仪式，并接受了采访。你对目前这支米兰有何看法？这支球队还缺少什么？我不想谈具体技术细节，我认为米兰球迷们正在等待2024-12-26
什么？拿了两次G赛冠军是吃了红利？由JR0004949923发表在和平精英 gp那这两年国外队伍夺冠是因为什么呢？不就是因为pel自己菜了？宁愿否定别人夺冠，也不愿承认自己菜了。这真的很小丑。这才叫输2024-12-26
天玑8400 搭载天玑AI智能体化引擎 加速智能体化AI体验普及
近日，联发科发布了天玑 8400移动芯片，凭借越级的性能和能效成为新一代“神U”，续写了天玑8000系列的“神U”传奇。作为全球首款采用全大核架构的次旗2024-12-26
10月29日讯据消息人士告知ESPN，曼城并不打算追逐阿莫林，他们更希望与瓜迪奥拉续约。在滕哈赫被解雇后，阿莫林已经成为曼联帅位的头号候选。之前有消息称，阿莫林可能会等待，看看曼城是否会在本赛季末聘请2024-12-26
最新评论