大模型还是小模型 ---- 轻量级神经网络探究

讲座题目Title：大模型还是小模型 ---- 轻量级神经网络探究

讲座时间 Datetime: 2023年12月6日  16:00-17:30

地点 Venue: 腾讯会议：898-768-683

报告人 Speaker: 庞彦 副教授

单位 Affiliation: 广州大学 人工智能与区块链研究院

主持人Host：邝东阳 副教授

报告摘要 Abstract:

随着人工智能技术的快速发展和不断进步，探讨大模型与小模型之间的差异成为了一个重要的研究议题。本次讲座旨在深入分析这两类模型在计算效率、性能以及适用性方面的相对优势和局限性。首先，研究将从理论层面综述大型模型与小模型的基本特性，并对比它们在多样化计算环境中的表现和适应性。进一步，本文探讨了大型模型向轻量级小模型转换的策略，尤其关注于模型压缩技术，例如参数剪枝和知识蒸馏等方法的应用。最终，研究聚焦于直接构建轻量级神经网络的方法论，涵盖其结构优化和在资源受限环境下的有效应用。讲座内容为理解和优化神经网络模型提供了理论指导和实践框架。

报告人简介：

庞彦，广州大学人工智能与区块链研究院副教授，硕士生导师。Remote Sensing、Cancers、Brain-X等国际学术期刊执行编辑。曾赴意大利、美国留学工作十余年，并在美国硅谷Moffett Ai总部担任高级工程师。主要涉猎于计算机视觉的理论研究和应用落地，其相关成果在医学智能化等交叉领域得到广泛应用。