华为移动服务Aspiegel搜索爬虫频率过高

本文转载自@蓝点网

蓝点网发现这个爬虫属于华为旗下的Aspiegel公司,该公司位于爱尔兰都柏林,负责华为移动服务(HMS)国际版的运营

华为移动服务Aspiegel搜索爬虫频率过高

▲截图来自ASPIEGEL公司官网

爬虫通常指的是搜索引擎用于索引互联网内容的自动化程序,当然现在爬虫也被用于抓取各类特定的互联网内容。正常情况下搜索引擎爬虫会根据网站的负载情况动态调整抓爬频率,防止因抓爬频率过高影响被抓取网站的访问。爬虫抓取内容时与正常用户访问网站类似,因此当抓爬频率过高时会消耗网站大量服务器资源影响正常用户访问。
华为移动服务Aspiegel搜索爬虫频率过高▲国外开发者平台Hypernode统计的华为爬虫频次趋势

华为的搜索引擎爬虫就存在高频抓爬问题,当爬虫抓爬频率过高,就有可能使得相应网站服务器占用过高。

由华为子公司 Aspiegel 运营的华为移动服务国际版主要为国外用户服务 ,  华为搜索服务同样也只面向国外用户。


此文章不代表AD科技官方立场,内容仅供网友参考学习。对于因本网站内容所引起的纠纷、损失等,AD科技均不承担侵权行为的连带责任。