苹果AI内容抓取机器人被屏蔽

苹果AI内容抓取机器人被屏蔽

8月30日，《连线》杂志宣布了一篇博客文章，提醒了一个风趣的现象：不少干流媒体开端回绝苹果的数据抓取东西Applebot的拜访。Applebot初度进入大众视界是在2014年11月，随后苹果在2015年5月正式发布了这一技能。作为Applebot的升级版，Applebot-Extended在曩昔十年间继续抓取网页内容，旨在提高Siri和Spotlight查找等功能的体现。

近期的研讨显现，大都干流出书组织经过robots.txt文件来约束苹果的抓取行为。据统计，大约有6%到7%的高流量网站已阻挠了Applebot-Extended的拜访。另一项由Ben Welsh进行的研讨则指出，在他调查的网站样本中，有高达25%的网站对Applebot-Extended施行了屏蔽办法。此外，研讨还发现，OpenAI的爬虫在新闻网站中的遭受更为严峻，被53%的站点阻拦，而谷歌的Google-Extended爬虫也被43%的网站回绝。

《连线》剖析以为，虽然网站或许并不介怀苹果的智能查找触及它们的内容，但Applebot及其增强版之所以被较低份额的网站阻挠，首要是因为这些机器人的知名度相对较低，没有引起广泛的企业重视。