对话秦浩桐：把AI大模型压到极限之后
AI 总结
DeepTech采访了香港理工大学助理教授秦浩桐，讨论模型使用成本、推理延迟以及有限资源下的能力保留等效率问题。秦浩桐介绍了发表于ICML 2024的BiLLM研究，该工作把预训练语言模型的平均权重位宽压至约1.08比特，同时保留了一部分语言能力。他还提到，在实体设备部署中，更低的延迟能让决策所依据的环境信息更及时，并可能改善系统表现。
深度见解
BiLLM展示了训练后量化的极限案例，而秦浩桐的经历揭示了模型精度、部署成本、推理速度与能力保留之间的现实取舍。
在秦浩桐看来，AI 越强，值得研究的问题就越多。AI 聊天模型刚出现时，人们拿它聊天、解答困惑。后来发现它能写代码、处理任务，又开始希望它多做一点，最好能替自己把事情办完。模型的能力在长，人们的要求也在长。原来还没有人想到的用途，一旦变得可能，马上就会暴露出一批新的难题。
所以，当有人觉得 AI 已经很难再找到“无人区”，秦浩桐的判断则相反：“处处都是无人区。”在他看来，一个问题解决以后，很快就会变成基础知识，大家习以为常，容易忘记它也曾经困住过人。可模型刚刚能够触及一个新任务，和它真正能把任务做好，往往还隔着很远。
#BiLLM#The Hong Kong Polytechnic University#ETH Zurich#Beihang University#ICML