Meta爬虫挤爆创作者四个网站
AI 总结
据IT之家援引《Business Insider》报道,Meta爬虫为插画师Chelsea Paulus的四个网站带来55万余次访问,耗尽共享主机资源并使网站持续不稳定。SiteGround于10月24日警告,她获分配的CPU资源已使用80%;相关流量被指向Meta External Agent,之后又出现Meta Web Indexer。保卢斯表示,她不认为这是Meta蓄意发起的攻击,但小微企业需要可用的爬虫拦截工具。
深度见解
这起案例显示,Meta爬虫流量可能直接占用小型网站运营商的共享主机资源,而Meta则建议网站所有者通过robots.txt等配置工具控制爬虫交互。
IT之家 11 月 3 日消息,圣地亚哥一名创作者原本希望有更多人访问自己的网站,结果她迎来的不是访客,而是 Meta 爬虫带来的 55 万余次访问,如今她只能手忙脚乱地维持网站正常运转。

儿童绘本作家、插画师切尔西 · 保卢斯(Chelsea Paulus)向 Business Insider 表示,这台自动访问程序耗尽了网站主机资源,她不得不和服务商一起排查故障。
“我从来没有遇到过这种情况,”保卢斯说,“哪怕我懂一些技术,这周也过得心力交瘁。”
保卢斯经营这份事业已有十年,去年转为全职创作者。此前她有科技和网页设计从业背景,所以流量异常暴涨时,她很快察觉到不对劲。
“我不认为这是 Meta 蓄意发起的恶意攻击,”保卢斯说,“但小微企业主需要知道这类风险,并且要有可用工具来阻挡爬虫。”
#Meta#Chelsea Paulus#Meta External Agent#Meta Web Indexer#SiteGround#WordFence#Cloudflare