电子设计自动化（Electronic Design Automation，EDA）是芯片设计的基石产业，也被誉为“芯片之母”。我国的EDA技术力量薄弱，市场主要被美国企业垄断，是我国芯片产业发展的关键核心领域。国际计算机辅助设计会议（IEEE/ACM International Conference on Computer-Aided Design，ICCAD）是EDA领域的国际顶级学术会议，将于2024年10月27日-31日在美国新泽西州召开。ICCAD自1982年创办以来已经举办了42届，与DAC、DATE和ASP-DAC并称为EDA领域四大国际顶级学术会议。

今年，ICCAD共收到逾800篇论文投稿，中稿率约24%。经过遴选，本次ICCAD最终从面向集成电路设计中前端和后端过程的研究论文中各评选出1篇论文授予最佳论文奖（获奖率仅0.2%）。学院卓成教授、孙奇研究员课题组在今年ICCAD中共有7篇论文被接收，其中，论文《An Agile Framework for Efficient LLM Accelerator Development and Model Inference》（一种面向高效大模型加速器开发和模型推理的敏捷框架）获得本次会议的最佳论文奖，这是中国内地高校首次以第一单位获得ICCAD最佳论文奖。

大语言模型（Large Language Model, LLM）凭借大规模训练数据、庞大的模型参数量和计算开销，涌现出了强大的生成能力、泛化能力和交互能力，在各个领域展现出了非凡的性能，拉开了“人工智能生成内容”（AIGC）时代的序幕。然而，大模型中往往包含着几十亿到几千亿的参数，所带来的海量矩阵和向量浮点乘法操作耗费了大量的计算资源，这些都成为了模型推理的关键瓶颈。现有的人工智能计算芯片对此显得力不从心，模型计算需求和芯片算力差距已经超过了10000倍。此外，大模型算法迭代更新速度快，为了跟上模型发展的步伐，我们需要频繁修改优化芯片架构，以确保模型的推理性能。传统的芯片开发流程繁琐冗长，在技术成熟的情况下仍需要数月的时间才能完成单次芯片设计与仿真，并需要经历多轮次的迭代才能完成芯片的最终定型并交付流片，在7nm工艺下设计与流片的成本高达数千万元。对于复杂的大模型任务带来的新挑战，如何实现大模型芯片的敏捷开发与高效计算是各界亟待解决的关键问题。

针对这些问题，团队提出了一个大模型高效推理加速器开发和敏捷优化框架。首先，团队提出了一种二值化大模型脉动阵列加速器，并实现了一个基于RISC-V CPU、同时支持二进制和浮点运算的异构SoC。通过将大模型进行二值化压缩，可以将高位宽、高精度的数据按组转为低位宽、低精度的数据（最多可以将矩阵模块的存储压缩64倍），依靠二进制运算代替传统浮点运算，实现了快速乘法计算，极大降低了模型参数存储和时间、功耗开销。所提出的异构SoC同时可以兼容高精度浮点计算以确保模型推理精度。在框架中，团队还提出了一种基于多保真度优化的敏捷设计空间探索方法，通过跨EDA多个阶段的协同建模与优化，解决了传统机器学习方法因缺乏足够的仿真数据而出现的过拟合问题，可以在芯片设计的早期阶段完成对芯片性能、功耗的快速精确评估。通过结合贝叶斯优化等设计空间探索算法，在芯片设计早期完成设计优化与决策，避免了后期极为耗时的仿真流程，极大提高了开发、优化效率和设计质量。

图1 大模型异构SoC架构

图2 团队提出的开发框架与面向大模型SoC的敏捷开发流程

本框架涵盖了大模型二值化、架构设计、模型编译、芯片综合优化与模型推理，实现了端到端的敏捷优化。在LLaMA-7B、OPT等代表性大模型上，相比当前流行的CPU/GPU计算设备，在获得11.7倍推理加速的同时将能耗效率提升2.19倍，并显著降低了芯片开发成本，实现了超过3个数量级的效率提升，极大助力了大模型时代我国集成电路设计技术的发展。

研究工作得到了国家自然科学基金重点项目、国家高层次人才计划和青年人才计划等项目的资助。

团队介绍：

卓成，浙江大学求是特聘教授，长聘教授、博导。入选国家高层次科技创新领军人才、浙江省特聘专家、IEEE电子设计自动化协会（CEDA）杰出讲者（首位大陆地区学者）和英国工程技术学会会士等。作为项目负责人主持国自然科学基金重点和面上项目、国际合作项目、科技部重点研发计划、浙江省自然科学基金重大项目、浙江省重点研发计划项目等国家与省部级项目10余项。迄今共发表200余篇业内国际知名期刊和会议论文，及3本英文专著章节。曾获DAC、ICCAD等EDA领域旗舰会议最佳论文奖及提名10次、国际系统设计竞赛奖项2次，ACM SIGDA技术领袖奖及功勋服务奖、浙江大学“个推”青年创新奖、浙江大学十大学术进展提名奖、浙江大学学术创新奖、浙江大学先进工作者等奖励或荣誉称号。

孙奇，浙江大学百人计划研究员、博士生导师，入选国家级优秀青年人才计划、启真优秀青年学者、CCF集成电路设计专委会执委等。博士毕业于香港中文大学，并于美国康奈尔大学从事博士后研究。主要研究领域为面向集成电路制造的多模态大语言模型、人工智能辅助电子设计自动化、深度学习推理加速等。曾获得2021年ICCAD最佳论文奖、2021年DATE最佳论文奖提名、华为“难题揭榜”火花奖等，在包括DAC、ICCAD、TCAD、ICML等EDA与人工智能国际顶级学术会议与期刊上发表论文四十余篇。