Skip to content

完成作业1到4 实现英伟达和天数后端 - #64

Open
ghostdragonzero wants to merge 5 commits into
InfiniTensor:mainfrom
ghostdragonzero:main
Open

完成作业1到4 实现英伟达和天数后端#64
ghostdragonzero wants to merge 5 commits into
InfiniTensor:mainfrom
ghostdragonzero:main

Conversation

@ghostdragonzero

Copy link
Copy Markdown

本 PR 包含 mytesttianshu 两个主要功能提交,完成 Qwen2 推理流程,并将算子重构为 CPU、NVIDIA、MUSA 和 Iluvatar(天数智芯)独立后端目录。

提交内容

1053a6d - mytest

完善基础推理能力和 NVIDIA 后端:

  • 实现 Qwen2 模型配置读取、权重加载和自回归生成流程。
  • 增加 Qwen2 权重加载及 KV Cache 重置接口。
  • 实现 Tensor 数据管理、设备内存复制和相关运行时逻辑。
  • 补充 add、argmax、embedding、linear、rms_norm、rope、self_attention 和 swiglu 算子实现。
  • 增加 NVIDIA CUDA 算子及构建配置。
  • 支持 linear 算子的可选 bias。
  • 修正 NVIDIA 动态库加载方式。
  • 补充本地 Qwen 模型相关文件和忽略规则。

e951da4 - tianshu

增加 Iluvatar/CoreX 后端并重构算子目录:

  • 新增独立的 LLAISYS_DEVICE_ILUVATAR 和 Python DeviceType.ILUVATAR
  • 新增 src/device/iluvatar/ CoreX 运行时实现。
  • 增加 --device iluvatar 参数,与 --device nvidia 明确区分。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant