展开查看剩余 179 个文件完整目录(支持 Ctrl+F 检索课件/剧集名)
📄13-14 矩阵乘法算子的cuda和cpu实现-gpu实现.mkvMKV
📄13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4MP4
📄13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4MP4
📄15 kvcache的原理与实现.mp4MP4
📄15 kvcache的原理与实现.mp4MP4
📄16 KV Cache的实现和自注意力计算中的QKV.mp4MP4
📄16 KV Cache的实现和自注意力计算中的QKV.mp4MP4
📄17 MLP层的实现-上.mp4MP4
📄17 MLP层的实现-上.mp4MP4
📄17 MLP层的实现-下.mp4MP4
📄17 MLP层的实现-下.mp4MP4
📄18 用Cuda实现LLama模型中多头注意力算子-正常版本
📄18 用Cuda实现LLama模型中多头注意力算子-正常版本.szSZ
📄19 llama中其余算子的cuda实现 - llama模型中的其余算子实现
📄19 llama中其余算子的cuda实现 - llama模型中的其余算子实现.szSZ
📄2 资源管理-重录后-内存的管理和设备类.mkvMKV
📄2 资源管理-重录后-内存的管理和设备类.mkvMKV
📄20 llama3.2模型的支持
📄20 llama3.2模型的支持.szSZ
📄21 课程demo和整体流程回顾.mp4MP4
📄21 课程demo和整体流程回顾.mp4MP4
📄22 支持qwen3.mkvMKV
📄22 支持qwen3.mkvMKV
📄3 算子类设计-重录后-算子类的设计.mkvMKV
📄3 算子类设计-重录后-算子类的设计.mkvMKV
📄4 张量的设计与实现-重新录制后的第四章.mkvMKV
📄4 张量的设计与实现-重新录制后的第四章.mkvMKV
📄5 rmsnorm的cuda实现-重置后的第五次课程
📄5 rmsnorm的cuda实现-重置后的第五次课程.szSZ
📄6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkvMKV
📄6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkvMKV
📄7 模型的量化-加载权重-重置后的第7次课程
📄7 模型的量化-加载权重-重置后的第7次课程.szSZ
📄8 cuda的向量化存取-Cuda的向量化存取
📄8 cuda的向量化存取-Cuda的向量化存取.szSZ
📄9 显存的管理.mkvMKV
📄9 显存的管理.mkvMKV
📄课件
📄7模型权重文件
📄tokenizer.modelMODEL
📄tokenizer.modelMODEL
📄c++ testmate配置
📄c++ testmate配置.htmlHTML
📄vscode参考配置.zipZIP
📄vscode参考配置.zipZIP
📄《自制大模型推理框架》课程目录-支持LLama3和Qwen3
📄《自制大模型推理框架》课程目录-支持LLama3和Qwen3.htmlHTML
📄第10课-自制大模型推理框架-mmap映射模型文件
📄第10课-自制大模型推理框架-mmap映射模型文件.htmlHTML
📄第11课-自制大模型推理框架-算子层的创建和权重的载入
📄第11课-自制大模型推理框架-算子层的创建和权重的载入.htmlHTML
📄第12课-自制大模型推理框架-算子后端的选择
📄第12课-自制大模型推理框架-算子后端的选择.htmlHTML
📄第13课-Sgemv算子的实现-cpu
📄第13课-Sgemv算子的实现-cpu.htmlHTML
📄第13课-Sgemv算子的实现-cuda
📄第13课-Sgemv算子的实现-cuda.htmlHTML
📄第15次课程-KVCache的原理和实现
📄第15次课程-KVCache的原理和实现.htmlHTML
📄第16课-KV Cache的实现和自注意力计算中的QKV
📄第16课-KV Cache的实现和自注意力计算中的QKV.htmlHTML
📄第17课-Llama模型中的MLP层实现
📄第17课-Llama模型中的MLP层实现.htmlHTML
📄第18次课程-用Cuda实现LLama模型中多头注意力算子
📄第18次课程-用Cuda实现LLama模型中多头注意力算子.htmlHTML
📄第19次课程-llama模型中的其余算子实现
📄第19次课程-llama模型中的其余算子实现.htmlHTML
📄第1课-环境安装
📄第1课-环境安装.htmlHTML
📄第20次课程-LLama3.2模型的支持
📄第20次课程-LLama3.2模型的支持.htmlHTML
📄第21次课程-用课程大模型推理框架跑LLama3和Qwen2.5
📄第21次课程-用课程大模型推理框架跑LLama3和Qwen2.5.htmlHTML
📄第22课-《cuda自制大模型推理框架》课程中支持qwen3
📄第22课-《cuda自制大模型推理框架》课程中支持qwen3.htmlHTML
📄第2次课程-内存和设备的管理
📄第2次课程-内存和设备的管理.htmlHTML
📄第3次课程-算子类的设计
📄第3次课程-算子类的设计.htmlHTML
📄第4次课程-张量的设计与实现
📄第4次课程-张量的设计与实现.htmlHTML
📄第5次课程-RMSNorm算子的CUDA实现
📄第5次课程-RMSNorm算子的CUDA实现.htmlHTML
📄第6次课程-Nsight compute的使用和算子的优化
📄第6次课程-Nsight compute的使用和算子的优化.htmlHTML
📄第7次课程-模型的量化
📄第7次课程-模型的量化.htmlHTML
📄第8次课程-Cuda的向量化存取
📄第8次课程-Cuda的向量化存取.htmlHTML
📄第9次课程-自制大模型推理框架-显存的管理
📄第9次课程-自制大模型推理框架-显存的管理.htmlHTML
📄视频
📄0 绪论-绪论-重录高清版.mkvMKV
📄0 绪论-绪论-重录高清版.mkvMKV
📄1 环境配置-1-第一次课程.mkvMKV
📄1 环境配置-1-第一次课程.mkvMKV
📄1 环境配置-2-第一节课程-附-vscode1.mkvMKV
📄1 环境配置-2-第一节课程-附-vscode1.mkvMKV
📄1 环境配置-2-第一节课程-附-vscode2.mkvMKV
📄1 环境配置-2-第一节课程-附-vscode2.mkvMKV
📄10 mmap映射模型文件.mkvMKV
📄10 mmap映射模型文件.mkvMKV
📄11 算子层的创建和权重的载入.mkvMKV
📄11 算子层的创建和权重的载入.mkvMKV
📄12 算子后端的选择.mkvMKV
📄12 算子后端的选择.mkvMKV
📄13-14 矩阵乘法算子的cuda和cpu实现-cpu实现.mkvMKV
📄13-14 矩阵乘法算子的cuda和cpu实现-cpu实现.mkvMKV
📄13-14 矩阵乘法算子的cuda和cpu实现-gpu实现.mkvMKV
📄13-14 矩阵乘法算子的cuda和cpu实现-gpu实现.mkvMKV
📄13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4MP4
📄13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4MP4
📄15 kvcache的原理与实现.mp4MP4
📄15 kvcache的原理与实现.mp4MP4
📄16 KV Cache的实现和自注意力计算中的QKV.mp4MP4
📄16 KV Cache的实现和自注意力计算中的QKV.mp4MP4
📄17 MLP层的实现-上.mp4MP4
📄17 MLP层的实现-上.mp4MP4
📄17 MLP层的实现-下.mp4MP4
📄17 MLP层的实现-下.mp4MP4
📄18 用Cuda实现LLama模型中多头注意力算子-正常版本
📄18 用Cuda实现LLama模型中多头注意力算子-正常版本.szSZ
📄19 llama中其余算子的cuda实现 - llama模型中的其余算子实现
📄19 llama中其余算子的cuda实现 - llama模型中的其余算子实现.szSZ
📄2 资源管理-重录后-内存的管理和设备类.mkvMKV
📄2 资源管理-重录后-内存的管理和设备类.mkvMKV
📄20 llama3.2模型的支持
📄20 llama3.2模型的支持.szSZ
📄21 课程demo和整体流程回顾.mp4MP4
📄21 课程demo和整体流程回顾.mp4MP4
📄22 支持qwen3.mkvMKV
📄22 支持qwen3.mkvMKV
📄3 算子类设计-重录后-算子类的设计.mkvMKV
📄3 算子类设计-重录后-算子类的设计.mkvMKV
📄4 张量的设计与实现-重新录制后的第四章.mkvMKV
📄4 张量的设计与实现-重新录制后的第四章.mkvMKV
📄5 rmsnorm的cuda实现-重置后的第五次课程
📄5 rmsnorm的cuda实现-重置后的第五次课程.szSZ
📄6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkvMKV
📄6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkvMKV
📄7 模型的量化-加载权重-重置后的第7次课程
📄7 模型的量化-加载权重-重置后的第7次课程.szSZ
📄8 cuda的向量化存取-Cuda的向量化存取
📄8 cuda的向量化存取-Cuda的向量化存取.szSZ
📄9 显存的管理.mkvMKV
📄9 显存的管理.mkvMKV
📄课件
📄7模型权重文件
📄tokenizer.modelMODEL
📄tokenizer.modelMODEL
📄c++ testmate配置
📄c++ testmate配置.htmlHTML
📄vscode参考配置.zipZIP
📄vscode参考配置.zipZIP
📄《自制大模型推理框架》课程目录-支持LLama3和Qwen3
📄《自制大模型推理框架》课程目录-支持LLama3和Qwen3.htmlHTML
📄第10课-自制大模型推理框架-mmap映射模型文件
📄第10课-自制大模型推理框架-mmap映射模型文件.htmlHTML
📄第11课-自制大模型推理框架-算子层的创建和权重的载入
📄第11课-自制大模型推理框架-算子层的创建和权重的载入.htmlHTML
📄第12课-自制大模型推理框架-算子后端的选择
📄第12课-自制大模型推理框架-算子后端的选择.htmlHTML
📄第13课-Sgemv算子的实现-cpu
📄第13课-Sgemv算子的实现-cpu.htmlHTML
📄第13课-Sgemv算子的实现-cuda
📄第13课-Sgemv算子的实现-cuda.htmlHTML
📄第15次课程-KVCache的原理和实现
📄第15次课程-KVCache的原理和实现.htmlHTML
📄第16课-KV Cache的实现和自注意力计算中的QKV
📄第16课-KV Cache的实现和自注意力计算中的QKV.htmlHTML
📄第17课-Llama模型中的MLP层实现
📄第17课-Llama模型中的MLP层实现.htmlHTML
📄第18次课程-用Cuda实现LLama模型中多头注意力算子
📄第18次课程-用Cuda实现LLama模型中多头注意力算子.htmlHTML
📄第19次课程-llama模型中的其余算子实现
📄第19次课程-llama模型中的其余算子实现.htmlHTML
📄第1课-环境安装
📄第1课-环境安装.htmlHTML
📄第20次课程-LLama3.2模型