近日，一项窥察发现，数百个网站试图拆开东说念主工智能公司Anthropic执取其推行【SAL-043】ニューハーフが発射する射精シーンがあるセックス4，却因为使用逾期的领导而屏蔽了造作的机器东说念主。这一气候凸显了面前网站系数者在唐突握住变化的AI爬虫生态系统时面对的窘境。

凭证追踪收集爬虫的网站Dark Visitors的匿名运营者败露，好多网站正在顽固Anthropic公司不再使用的两个机器东说念主"ANTHROPIC-AI"和"CLAUDE-WEB"，同期在不知情的情况下让该公司简直的新爬虫"CLAUDEBOT"保持流畅。这种情况的出现，主如果由于网站系数者将逾期的领导复制粘贴到了robots.txt文献中，而AI公司握住推出具有新称号的爬虫机器东说念主。

图源备注：图片由AI生成，图片授权就业商Midjourney

这一错乱步地不仅限于Anthropic。Dark Visitors的运营者指出，Apple和Meta等科技巨头最近也添加了新的代理，使得网站系数者险些不能高东说念主动跟上这些变化。更令东说念主担忧的是，一些AI公司被发现以遮蔽形式执取不应执取的网站，或平直淡薄robots.txt文献的领导。

这种情况导致了一系列问题。一些网站接纳全面拆开爬虫，或只允许少数特定爬虫看望，这可能会影响搜索引擎索引、互联网归档和学术接头。同期，一些网站面对着AI爬虫大界限看望带来的时间和经济压力。举例，维修指南网站iFixit阐发称，Anthropic的爬虫在一天内看望了其网站近一百万次。另一家就业提供商Read the Docs则暗示，一个爬虫在一天内看望了价值10TB的文献，导致荣华的带宽用度。

数据起原倡议（Data Provenance Initiative）的一项接头进一步揭示了推行创作家和网站系数者在试图拆开AI器具覆按时面对的大齐困惑。接头指出，拆开AI执取器具的牵扯竣工落在网站系数者身上，而爬虫数目的握住加多和无为变化使这一任务变得相等沉重。

面对这一复杂步地，民众们提倡网站处罚员应该积极拆开可疑的AI爬虫【SAL-043】ニューハーフが発射する射精シーンがあるセックス4，即使可能会误伤一些不存在的代理。同期，也有东说念主想到会有更多创作家将推行振荡到付费墙后头，以防护不受限制的执取。