站长搜索(www.adminso.com):苹果公司爬虫被“活捉” 一名开发者汇报,发现苹果在秘密使用网络爬虫抓取互联网上的HTML内容,不过他不能确定苹果这么做的目的。苹果的网络爬虫使用谷歌的Go语言编写,最早可以追溯到10月15日
站长搜索(www.adminso.com):苹果公司爬虫被“活捉”
一名开发者汇报,发现苹果在秘密使用网络爬虫抓取互联网上的HTML内容,不过他不能确定苹果这么做的目的。苹果的网络爬虫使用谷歌的Go语言编写,最早可以追溯到10月15日。其他开发者也纷纷报告,发现了苹果的网络爬虫踪迹,它只请求网站的HTML内容,不访问CSS, JavaScript或者图片文件。
苹果的网络爬虫使用Mozilla/5.0 (compatible; Fetcher/0.1)的身份。来自17.开头的IP地址,而这正是苹果的服务器所在。目前不能确定是苹果官方的行为,还是员工自己写的一个测试软件。如果是苹果官方的,也许暗示苹果正在秘密改善OS X 10.10和iOS8的Spotlight网络搜索功能,该功能让用户不需要打开谷歌或Bing搜索网站,虽然苹果不和谷歌、微软竞争,但是也在Siri里面提供了一定的信息,这样就不需要显示Bing的搜索结果了。
网络爬虫是一种“自动化浏览网络”的程序,或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站,以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容,以供搜索引擎做进一步处理(分检整理下载的页面),而使得用户能更快的检索到他们需要的信息。
声明:本文内容来源自网络,文字、图片等素材版权属于原作者,平台转载素材出于传递更多信息,文章内容仅供参考与学习,切勿作为商业目的使用。如果侵害了您的合法权益,请您及时与我们联系,我们会在第一时间进行处理!我们尊重版权,也致力于保护版权,站搜网感谢您的分享!