LifeVal评测个人化AI助理处理日常任务的能力
AI 总结
OpenAI推出LifeVal,用于评估能通过浏览器和电脑操作完成日常任务的个人化AI助理。两篇报道对任务数量存在分歧,分别称为148项和169项。其中一篇报道称,在需要从历史ChatGPT对话获取信息的评分条件中,平均达标率仅为33.33%;把原本直接提供的背景信息移入历史对话后,相关达标率从55.8%降至41.5%。论文据称未说明个人化分析采用了哪些模型。目前已公开LifeVal研究论文及评测结果,但完整任务数据集和评测程序尚未发布。
深度见解
评测结果显示,AI助理即使可以访问个人信息,也未必能从历史对话中找到并使用完成个人化任务所需的相关细节。
文/李建興|2026-11-05 發表
OpenAI公布**日常生活任務基準測試LifeVal**,研究發現,即使AI助理能存取使用者過往的ChatGPT對話,仍可能漏掉完成任務所需的個人資訊。在被判定需要從歷史對話取得資訊的評分條件中,平均達標率僅33.33%,反映出運用過往對話的能力仍有不足。
LifeVal收錄169項任務,涵蓋照護、教育、購物、個人財務與政府服務。研究團隊邀請具備相關經驗的參與者設計任務,結合經去識別化處理的ChatGPT對話與記憶、參考檔案及額外背景資訊,測試AI透過瀏覽器與電腦操作完成工作。評測主要在模擬環境中進行,包括尋找符合家庭條件的幼兒園、安排防洪志工及搜尋住宅等情境。
每項LifeVal任務都設有多個評分條件,檢查AI是否完成指定操作,以及結果是否符合使用者需求。研究團隊分析模型運用個人資訊的能力,發現被判定需要使用ChatGPT記憶的評分條件,平均達標率為47.8%,需要使用額外背景資訊的達標率則為55.8%。