DeepSparkInference项目介绍

DeepSparkInference推理模型示例库作为DeepSpark开源社区的核心项目，于2024年3月正式开源，一期甄选了48个推理模型示例，涵盖计算机视觉，自然语言处理，语音识别等领域，后续将逐步拓展更多AI领域。

DeepSparkInference中的模型提供了在国产推理引擎IGIE或IxRT下运行的推理示例和指导文档，部分模型提供了基于国产通用GPU智铠100的评测结果。

IGIE（Iluvatar GPU Inference Engine）是基于TVM框架研发的高性能、高通用、全流程的AI推理引擎。IGIE支持多框架模型导入、量化、图优化、多算子库支持、多后端支持和算子自动调优等特性，为推理场景提供易部署、高吞吐量、低延迟的完整方案。

IxRT（Iluvatar CoreX RunTime）是天数智芯自研的高性能推理引擎，专注于最大限度发挥天数智芯通用GPU 的性能，实现各领域模型的高性能推理。IxRT支持动态形状推理、插件和INT8/FP16推理等特性。

DeepSparkInference项目遵循Apache 2.0协议，于2024年3月26日正式上线。后续会按季度进行版本更新，逐步丰富推理模型类别，并拓展大模型推理。

DeepSparkInference项目衷心欢迎您提供使用反馈。期间如发现问题，可随时在Issue标签页提交Issue。如果您已经有了Issue的解决方法，也欢迎随时通过Fork+Pull Request的方式向DeepSparkInference贡献代码。