报告题目：大模型在 GPU 运行是怎么一回事

报告人：赖龙彬

讲座时间：2026年11月5日（周四） 13:40

地点：浙江工商大学下沙校区 B教学楼 B304

报告人简介：

赖龙彬，浙江工商大学统计与数据科学学院客座教授，阿里巴巴集团 Token Foundry 高级技术专家，澳大利亚新南威尔士大学计算机科学博士，本科及硕士毕业于上海交通大学。长期从事分布式系统、图计算与人工智能基础设施的研究和开发，担任 GraphScope 图计算平台架构师及产品负责人，主导开发多个图查询与优化系统，相关成果应用于反欺诈、反洗钱等业务场景。近期重点探索大模型基础设施、智能数据系统与多智能体应用，主导开发开源Agent时代的嵌入式数据存储基座 ，参与设计多智能体框架 Agent-Kernel。在 SIGMOD、VLDB、NSDI、USENIX ATC、ICDE 等学术会议发表多项成果。

报告摘要：

当我们向大模型提出一个问题，从按下发送键到看到回答，计算机内部究竟发生了什么？训练好的模型是什么样的，如何加载到 GPU 上，又如何通过一层层计算生成文字？本次讲座将沿着“一次回答的诞生”展开：从大模型、模型参数和文本编码讲起，通过图解理解注意力机制如何关联上下文；随后进入 GPU，追踪模型权重从文件进入显存，以及输入数据经过各层网络、完成矩阵运算、产生下一个文本片段的过程。在此基础上，进一步揭示大模型推理中的计算与数据搬运瓶颈，介绍 KV缓存、批量处理、量化等优化方法，解释它们如何让模型响应更快、占用更少显存，并支持更多用户同时使用。