搜索引擎的发展历史和现状分析

搜索引擎的发展历史

搜索引擎的起源:

1990年,加拿大麦吉尔大学（University of McGill）计算机学院的师生（Alan Emtage、Peter Deutsch、Bill Wheelan）开发出Archie（Archie FAQ）.当时,万维网（World Wide Web）还没有出现,人们通过FTP来共享交流资源.Alan Emtage等想到了开发一个可以用文件名查找文件的系统,于是便有了Archie.Archie是第一个自动索引互联网上匿名FTP网站文件的程序,能定期搜集并分析FTP服务器上的文件名信息,提供查找分别在各个FTP主机中的文件,但它还不是真正的搜索引擎,Archie用户必须输入精确的文件名进行搜索,Archie告诉用户哪个FTP服务器能下载该文件.虽然Archie搜集的信息资源不是网页（HTML文件）,但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务.所以,Archie被公认为现代搜索引擎的鼻祖.

由于Archie深受欢迎,受其启发,Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）.Jughead是后来另一个Gopher搜索工具.

Spider的出现

当“蜘蛛”程序出现时,现代意义上的搜索引擎才初露端倪.它实际上是一种电脑“机器人”（Computer Robot）,由于专门用于检索信息的“机器人”程序就象蜘蛛一样在网络间爬来爬去,反反复复,不知疲倦.所以,搜索引擎的“机器人”程序就被称为“蜘蛛”程序.现在主流定义的[搜索引擎的工作原理] ,无不把spider放在相当重要的位置.

这种程序实际是利用html文档之间的链接关系,在Web上一个网页一个网页的爬取（crawl）,将这些网页抓到系统来进行分析,并放入数据库中.第一个开发出“蜘蛛”程序的是Matthew　Gray,他于1993年开发了World　Wide　Web　Wanderer,它最初建立时是为了统计互联网上的服务器数量,到后来发展到能够捕获网址.现代搜索引擎的思路就来源于Wanderer,后来很多人在此基础上对蜘蛛程序进行了改进.

1994年7月20日发布的Lycos网站第一个将 “蜘蛛”程序接入到其索引程序中.引入“蜘蛛”后给其带来的最大优势就在于其远胜于其它搜索引擎的数据量.自此之后几乎所有占据主导地位的搜索引擎中,都靠“蜘蛛”来搜集网页信息.

1995年9月26日,加州伯克利分校助教Eric Brewer、博士生Paul Gauthier创立了Inktomi,1996年5月20日,Inktomi公司成立,强大的HotBot出现在世人面前.声称每天能抓取索引1千万页以上,所以有远超过其它搜索引擎的新内容.HotBot也大量运用cookie储存用户的个人搜索喜好设置.

可搜索目录

1994年4月,斯坦福大学的两名博士生,美籍华人杨致远和David Filo共同创办了Yahoo！.随着访问量和收录链接数的增长,Yahoo目录开始支持简单的数据库搜索.Yahoo!中收录的网站,因为都附有简介信息,所以搜索效率明显提高.

1996年8月,sohu公司成立,制作中文网站分类目录,曾有“出门找地图,上网找搜狐”的美誉.

他们因为数据是手工输入的,所以不能真正被归为搜索引擎,事实上只是一个可搜索的目录.随着互联网网站的急剧增加,这种人工编辑的分类目录已经不适应.

1997年8月,Northernlight搜索引擎正式现身.它曾是拥有最大数据库的搜索引擎之一,它没有Stop Words,它有出色的Current News、7100多出版物组成的Special Collection、良好的高级搜索语法,第一个支持对搜索结果进行简单的自动分类.

元搜索引擎

1995年,一种新的搜索引擎形式出现了——元搜索引擎（Meta Search Engine）.用户只需提交一次搜索请求,由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎,并将从各独立搜索引擎返回的所有查询结果,集中起来处理后再返回给用户.

第一个元搜索引擎,是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler.元搜索引擎概念上好听,但搜索效果始终不理想,所以没有哪个元搜索引擎有过强势地位.

实现高级搜索语法

1995年12月,DEC的正式发布AltaVista.AltaVista是第一个支持自然语言搜索的搜索引擎,第一个实现高级搜索语法的搜索引擎（如AND、 OR、 NOT等).用户可以用AltaVista搜索新闻组（Newsgroups）的内容并从互联网上获得文章,还可以搜索图片名称中的文字、搜索Titles、搜索Java applets、搜索ActiveX objects.AltaVista也声称是第一个支持用户自己向网页索引库提交或删除URL的搜索引擎,并能在24小时内上线.AltaVista最有趣的新功能之一,是搜索有链接指向某个URL的所有网站.在面向用户的界面上,AltaVista也作了大量革新.它在搜索框区域下放了“tips”以帮助用户更好的表达搜索式,这些小tip经常更新,这样,在搜索过几次以后,用户会看到很多他们可能从来不知道的的有趣功能.这系列功能,逐渐被其它搜索引擎广泛采用.1997年,AltaVista发布了一个图形演示系统LiveTopics,帮助用户从成千上万的搜索结果中找到想要的.

智能检索的产生：

它利用分词词典、同义词典,同音词典改善检索效果,进一步还可在知识层面或者说概念层面上辅助查询,通过主题词典、上下位词典、相关同级词典检索处理形成一个知识体系或概念网络,给予用户智能知识提示,最终帮助用户获得最佳的检索效果.

1998年10月之前,Google只是斯坦福大学（Stanford University）的一个小项目BackRub.1995年博士生Larry Page开始学习搜索引擎设计,于1997年9月15日注册了google.com的域名,1997年底,在Sergey Brin和Scott Hassan、Alan Steremberg的共同参与下,BachRub开始提供Demo.1999年2月,Google完成了从Alpha版到Beta版的蜕变.Google公司则把1998年9月27日认作自己的生日.Google以网页级别（Pagerank）为基础,判断网页的重要性,使得搜索结果的相关性大大增强.Google公司的奇客（Geek）文化氛围、不作恶（Don’t be evil）的理念,为Google赢得了极高的口碑和品牌美誉.2006年4月,Google宣布其中文名称“谷歌”,这是Google第一个在非英语国家起的名字.

2000年1月,两位北大校友,超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇（加州伯克利分校博士后）在北京中关村创立了百度（Baidu）公司.2001年8月发布Baidu.com搜索引擎Beta版（此前Baidu只为其它门户网站搜狐新浪Tom等提供搜索引擎）,2001年10月22日正式发布Baidu搜索引擎,专注于中文搜索.Baidu搜索引擎的其它特色包括：百度快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示等.2002年3月闪电计划（Blitzen Project）开始后,技术升级明显加快.后推出贴吧、知道、地图、国学、百科、文档、视频、博客等一系列产品,深受网民欢迎.2005年8月5日在纳斯达克上市,发行价为USD 27.00,代号为BIDU.开盘价USD 66.00,以USD 122.54收盘,涨幅353.85%,创下了5年以来美国股市上市新股当日涨幅最高纪录.

个性化趋势

个性化搜索是搜索引擎的一个未来发展的重要特征和必然趋势之一：一种通过搜索引擎的社区化产品（即对注册用户提供服务）的方式来组织个人信息,然后在搜索引擎基础信息库的检索中引入个人因素进行分析,获得针对个人不同的搜索结果.自2004年10月yahoo推出myweb测试版,到11月a9推出个性化功能,到2005年Google search history基本上都沿着一条路子走,分析特定用户的搜索需求限定的范围,然后按照用户需求范围扩展到互联网上其他的同类网站给出最相关的结果.另外一种是针对大众化的,Google个性化搜索引擎,或者yahooMindSet,或者我们都知道的前台聚类的vivisimo