龙兵剖析搜索引擎结构

我们知道要想做好网站并且推广出去，就要对搜索引擎有一定的认识，下面成都网站建设龙兵科技为您一一解析。
一、搜索引擎大致结构：用户查询、cache模块、排序（内容和链接）、索引库、蜘蛛去重、互联网
二、搜索引擎的爬行策略：
①宽度优先：它发现新连接会放在最后的待抓取ulr
②非完全的pagerank：判断链接重要性，去排序
③OCIP策略：改进的pagerank，抓取的10个URL的权重，就像花钱，相互链接，从链接导入判断，看哪个重要，OCIP不需要计算过程，速度
④大站优化策略：以域为（www.xbjianzhan.com）单位，蜘蛛坚持待抓取url库中的网页，进行归类。那一个域需要下载的页面较多，就优先下载那个域
三、蜘蛛爬行过程
①下载种子页面
②分析出里面的链接
③将分析出来的链接放入待抓取的数据库中
④依次下载待抓取的URL，并分析里面的链接并放入已爬行库中。