在20世纪末，搜索引擎最初起源于为了解决查找文件的问题，加拿大蒙特利尔的麦吉尔大学的一名学生Alan Emtage开发出了专门以文件名来查找文件的软件系统。这种程序在当时叫Archie(阿尔奇档案检索系统)，帮助大家在国际互联网络上找到某一档案的主机位置及目录。随后，搜索引擎技术快速得到发展，越来越多的学生开始探索研究。“Gopher”的搜索引擎的协议由美国明尼苏达大学的一个学生Mark Me Cahill提出。这一协议和Arehie存在显著不同，Gopher可以检索网页，Gopher搜索后的结果还需要借助于其他两个程序对Gopher进行检索。很显然，Gopher更加贴近实际需求，直至今日，Gopher仍然还是许多网站服务器用来获取目录信息的主要软件。但是，搜索引擎的起步取决于Robot网络机器人和Spider网络蜘蛛的诞生。在1994年7月，与目前的搜索引擎最为接近的搜索程序产生，Lycos标志着搜索引擎技术的诞生，它是由Michael Mauldin将网络蜘蛛程序应用到其索引程序中形成的。1994年4月，DavidFifo和美籍华人杨致远(Gerry Yang)这两名斯坦福(Stanford)大学的博士生，共同创办了具有搜索服务的知名门户网站Yahoo，使全世界的人真正认识到搜索引擎并享受它的快捷和准确的服务。从此，搜索引擎进入了高速发展时期。

在搜索引擎市场的初期发展过程中，搜索引擎平台主要是向互联网企业提供服务，它为门户网站的后台提供搜索技术的支持，如专业的搜索技术和数据库服务。比较有名的Google就是从服务提供方开始发展起来的，它在开始阶段不仅向Yahoo提供搜索服务，而且还向国内的百度、搜狐、新浪提供搜索技术服务。Google公司是在1998年9月，由年轻的谢尔盖·布林和拉里·佩奇创立的。Google发展到2000年5月时，高达1800万次的信息搜索需求都在每天的数据库中运转，随后一跃成为美国最大的互联网搜索引擎企业。到了将近2000年之前，李彦宏带着自己的搜索技术专利，回到中国北京中关村创立了百度公司，成为中文搜索引擎的发展奠基石，并于2001年9月开始将独立的中文搜索引擎技术向社会公众展示。而尽管当时Yahoo处于互联网的权威地位，但它却丢失了搜索引擎发展的机会，因为它选择了Google作为自己的搜索技术供应商。Yahoo自身独立的搜索引擎技术是在2004年后才形成，此时，它才开始重视搜索引擎技术的发展，并成为一个独立的服务和运营部门。

搜索引擎的出现，起到了信息导航的作用，由于整合了众多网站信息并起到引导信息影响的角色，迅速发展成为互联网中最有价值的领域。主流的搜索引擎开始开发搜索广告(即赞助商广告)平台，Google的搜索引擎市场发展趋势见图3.1。尽管当时面对互联网泡沫危机，但随着搜索引擎的发展并改变了许多商业模式，导致互联网的低谷由此演变为再次的发展高峰。通过对比全球搜索引擎的发展情况可知，Google，Yahoo和Baidu这三大搜索引擎服务商都具有不同的市场发展策略，Google在全球范围内拥有领先的技术，Yahoo的商业客户具有优势，而Baidu则专注于中国市场，还有许多搜索引擎，它们分割了世界各地的搜索引擎技术服务市场，并吸引了越来越多的互联网企业也开始进入这一市场，导致搜索引擎市场进入全面竞争的阶段。有的业界人士建议以2004年Yahoo推出独立的搜索技术为分界点，此时，这一市场已经完成了搜索用户的市场培育阶段，并逐渐成为个人用户进入互联网络的主要入口，如今搜索引擎网站的个人用户规模远高于其他网站。(www.daowen.com)

今天，出现很多新兴的搜索引擎分类，如垂直搜索也开始发展。垂直搜索(Vertical Search)是针对某一特定行业而言的，它们为该行业提供专业搜索引擎服务。这些垂直搜索引擎通过进一步细分和延伸了大众性搜索引擎的种类，但是相关技术并无差异。这些搜索引擎主要通过对网页库中的某类专门信息进行整合，并抽取出定向分字段，处理为特定的数据，最后以多个结果页面呈现给搜索用户。垂直搜索引擎和普通的网页搜索引擎的最大区别，在于是否从网页信息中抽取了结构化信息，垂直搜索引擎是将普通网页的非结构化数据抽取成特定的结构化数据，再将这些数据存储到数据库后，后续再进行进一步的加工和处理，如采用去重和分类等方法，并借助分词、索引再以搜索的手段满足某些行业用户的搜索需求。垂直搜索引擎的应用包括很多领域，如机票和酒店搜索、企业库搜索、供求信息搜索等，这些搜索引擎行业的应用已经逐渐实现盈利，如购物搜索、房产搜索、人才搜索、音频和视频内容搜索等，越来越多的分类服务都拥有了垂直搜索引擎。