端侧模型优化部署

讲座题目：端侧模型优化部署
讲座时间 Datetime: 2024年11月13日，周三，14:00-15:30
地点 Venue: 腾讯会议：781-591-072 
报告人Speaker: 庞彦 副教授
单位 Affiliation: 广州大学
主持人 Host：邝东阳 副教授
报告摘要 Abstract:
随着大模型在图像处理、自然语言处理等领域的应用，如何在端侧实现其性能与精度成为关键挑战。本讲座将从大模型在端侧部署的挑战入手，深入分析在边缘设备上部署深度学习模型所面临的资源限制问题，如计算能力有限、存储空间不足和能耗控制严格等。同时介绍一系列优化技术，包括模型剪枝、量化和知识蒸馏，帮助减小模型规模并提升计算效率，从而适应端侧硬件的限制。本次讲座将探讨如何在资源受限的边缘环境中有效部署并运行大模型，为实现端智能提供优化策略和实践指导。
报告人简介：
庞彦，广州大学人工智能与区块链研究院副教授，硕士生导师。Remote Sensing、Cancers、Brain-X等国际学术期刊执行编辑。曾赴意大利、美国留学工作十余年，并在美国硅谷Moffett Ai总部担任高级工程师。主要涉猎于计算机视觉的理论研究和应用落地，其相关成果在医学智能化等交叉领域得到广泛应用。