Probe finds GLM-5.3-Flash added real web retrieval over GLM-4-Flash
A Juejin author’s Python probe found that GLM-4-Flash answered a current-product question from training memory despite receiving a valid web_search tool, with no search-result fields in the response. After the author switched the same Zhipu AI engine to GLM-5.3-Flash on November 2, the test returned search citations and a currently available model. The report also documents a separate Java binding bug and says cross-implementation checks ruled it out as the cause of the earlier behavior.
The dated comparison illustrates why AI evaluations should record the exact model and request, and why distinguishing model behavior from malformed requests is essential when testing tool use.
(这是"AI 可见性测量"系列第五篇。前情:我开源了一套测量品牌在 AI 引擎里可见性的工具(Python + Java 两版),并在第三篇里记录了六次"如果全自动就翻车、被人审拦下来"的瞬间。这一篇,是第七、八、九次拦截——以及一个更罕见的发现:我亲眼看着一个引擎换了一代模型,行为就从"凭记忆回答"变成了"真联网检索"。全过程 14 天。)
10 月 31 日:它不联网
测量的方法之一,是给每个引擎挂上官方的联网搜索工具(web_search),然后问它"现在最好的扫地机是什么"。
智谱的 glm-4-flash 给了我一份 2023 年的答案:开口就是 "As of my last update",头名推荐 iRobot Roomba s9+——一台 2022 年的机器。响应里也没有任何搜索结果字段。
我写了个探针脚本验证,结论:这个模型不执行联网工具,它在用训练记忆答题。于是我把它标记为"记忆层"引擎,和真联网的 deepseek"搜索层"分开——这套"双层模型"后来成了报告的方法论框架。