微软 AI 推理框架 ONNX Runtime 新增支持龙芯 LoongArch 龙架构
3 月 12 日消息,近日,微软 AI 推理框架开源社区 ONNX Runtime 发布支持龙架构的版本 1.17.0,用户可以直接使用 ONNX Runtime 开源社区发布的版本,在龙芯平台完成 AI 推理类应用的开发和部署,标志着龙架构软件生态得到进一步完善。 IT之家注:ONNX Runtime(ORT)是近年来兴起的 AI 推理框架软件,被大量 AI 应用作为基础 AI 推理引擎。ORT 可支持 PyTorch、Tensorflow、TFLite 等多种格式的模型输入,以及 CPU、GPU、IoT、NPU、FPGA 等多样化算力后端。 龙芯中科表示,在 ONNX Runtime 社区 1.17.0 版本的研制过程中,龙芯中科技术团队与社区保持紧密合作,期间向 ONNX Runtime 社区代码仓库提交了 7697 行代码,对矩阵乘法、卷积、转置等核心算子进行深度向量优化。 在社区支持下,龙架构优化代码通过了检视、测试验证等质量保证流程,ONNX Runtime 社区自 1.17.0 版本起正式实现对龙架构的原生支持。 原文转自IT之家: https://www.ithome.com/>