搜索引擎它是如何来收集这个页面的呢？
发布时间：2022-07-26 09:30:21
作者：随州凌跃网络科技有限公司官网
来源：本站
浏览量（34）
点赞（64）
摘要：搜索引擎它是如何来收集这个页面的呢？它其实有一个专门的程序给他提供收集啊。那么我们来举个例子啊，百度这个爬虫呢，专门的去收集这个页面，收集回来之后就提供给这个百度这个大佬。嗯，百啊它就有一个小软件它叫爬虫，专门的去爬网页的，就是它是独立工作的，独立的去爬取是吧，不断的爬爬爬爬爬，爬了之后呢，哎，然后
搜索引擎它是如何来收集这个页面的呢？
它其实有一个专门的程序给他提供收集啊。那么我们来举个例子啊，百度这个爬虫呢，专门的去收集这个页面，收集回来之后就提供给这个百度这个大佬。
嗯，百啊它就有一个小软件它叫爬虫，专门的去爬网页的，就是它是独立工作的，独立的去爬取是吧，不断的爬爬爬爬爬，爬了之后呢，哎，然后提供给百度。
它还有一个名字呢，叫做蜘蛛对吧？蜘蛛，为什么叫蜘蛛呢？
是因为啊，互联网就像一张网一样嘛，他在上面爬爬爬爬，所以呢，啊，给它起了一个名字啊，叫做蜘蛛啊，所以呢，每一个搜索引擎啊，它都有它自己的这个蜘蛛啊，而且都有它独有的名称。
爬虫它的作用的话，相信呢，大家也很清楚了，对吧，那就是抓取页面啊，严格的来说呢，是下载啊，蜘蛛，它是互联网的一个普通访客啊。
什么意思呢？就是这个蜘蛛啊，和我们人打开网页是一模一样的啊，因为呢，如果说我们人打得开，那这个蜘蛛呢，它也可以啊，如果我们人访问不了这个网页啊，那蜘蛛它也访问不了的啊，就是本质是一样的，我们用浏览器呢，打开一个网页是吧，你看比如说我们用这个浏览器是打开一个网页是吧，其实我们是把那个浏览器的啊，通过浏览器啊，把网页呢，下载到了我们的本地嘛，对不对。
好，那么蜘蛛它也是如此的是吧？
第二个作用呢，就是回访，对，就是有一些老页面啊，它自己呢会有一个规则，然后呢，会回访一些老的页面啊，当然了，这个爬虫它也是有自己的规则的哈，我们下章会讲到爬虫的规则啊，我们这章呢，就讲到这里，再见啊。
扫一扫，添加客服微信
声明：本文由【随州凌跃网络科技有限公司官网】编辑上传发布，转载此文章须经作者同意，并请附上出处【随州凌跃网络科技有限公司官网】及本页链接。如内容、图片有任何版权问题，请联系我们进行处理。
64