创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Cloudflare推出爬虫信任评级

AI 总结

Cloudflare 公布一套爬虫信任评估机制,针对已通过身份验证的机器人,长期观察其是否遵守网站抓取规则,以及在收到降低请求频率的要求后是否配合,再根据行为建立信任评级。评估参考 robots.txt 中网站标示的抓取偏好,以及爬虫收到 HTTP 429 后是否减速或暂停;系统着重长期、重复的违规,避免因单次异常就判定不可信。该机制目前仅供 Cloudflare 内部使用,未来计划开放客户设置信任门槛,并在 Cloudflare Radar 公开评级;Cloudflare 曾在 2025 年将 Perplexity 爬虫移出已验证名单。

深度见解

网站将可据此自行设定信任门槛,决定如何处理已验证爬虫的流量,而不再只依赖身份验证。

Cloudflare公布爬蟲信任評估機制,針對已通過身分驗證的機器人,持續觀察是否遵守網站抓取規則,以及收到降低請求頻率的要求後是否配合,再依長期行為建立信任評等。該機制目前已在內部使用,未來預計開放客戶設定信任門檻,決定如何處理爬蟲流量。

評估對象是Cloudflare的已驗證機器人(Verified Bots),原有機制會確認爬蟲身分及宣稱的用途,並要求不得濫用網站資源。不過,機器人即使通過驗證,仍可能無視網站不希望被抓取的範圍,或在網站要求減少存取後繼續發出大量請求。

評估首先參考robots.txt檔案,網站可在檔案中列出不希望爬蟲抓取的頁面或路徑,Cloudflare會依實際請求,檢查爬蟲是否反覆存取受限制的內容。該檔案用來傳達網站偏好,本身不會阻止爬蟲存取。單次違規可能來自設定錯誤或程式問題,系統因此著重長期、重複發生的違規行為,避免因偶發異常就認定爬蟲不可信。

另一項依據是HTTP 429狀態碼。當網站短時間收到太多請求,可以用HTTP 429要求爬蟲放慢速度,有時也會告知何時適合再次嘗試。Cloudflare會觀察爬蟲收到回應後是否減速或暫停,長期配合能提高信任程度,反覆忽略則會降低評等。即使爬蟲只抓取允許存取的內容,過於密集的請求仍可能造成網站負擔。

Cloudflare在2025年曾將Perplexity爬蟲移出已驗證名單,Cloudflare當時指控該業者無視網站拒絕抓取的要求,並試圖繞過封鎖。

長期觀察結果將整理成信任區間,依爬蟲遵守規則的程度呈現評等,並說明哪些行為影響評估。Cloudflare計畫未來在Cloudflare Radar公開評等,並搭配既有的爬蟲偏好設定與流量管理功能,讓客戶自行選擇信任門檻。

#Cloudflare#Cloudflare Radar#Perplexity#Verified Bots

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。