要开发自己的搜索引擎目录，首先需要了解搜索引擎的基础知识，包括搜索引擎的历史，如早期的Archie和Gopher，以及网络机器人和网络爬虫的出现。Infoseek、AltaVista、Google和Baidu等搜索引擎的兴起见证了搜索引擎的繁荣。信息检索系统的基本原理包括什么是信息检索、搜索过程、传统查找的优缺点以及如何通过索引优化检索速度，如倒排索引的使用。
接着，深入学习Lucene，一个强大的全文搜索引擎库。从Lucene入门实例开始，如创建Eclipse工程，处理文档的预处理，建立索引，包括Document和Field的使用，以及IndexWriter在索引创建中的作用。搜索功能是关键，包括使用IndexSearcher进行搜索，理解Hits类的工作原理，构建各种查询对象，如TermQuery、BooleanQuery等，并了解排序、过滤和分页的实现。
扩展到Word、Excel和PDF的处理，通过PDFBox、xpdf和POI处理不同格式文件，以及Compass框架，它封装了Lucene，简化了索引和搜索操作。分布式搜索和Google Search API也是需要掌握的，比如GFS和Google的API使用方法。
网络爬虫Heritrix在搜索引擎构建中扮演重要角色，学会如何使用Heritrix进行网站抓取和内容处理，以及如何定制Heritrix以满足特定需求。最后，通过实例说明如何构建垂直搜索引擎，包括内容抓取、解析、数据库操作、索引构建，以及与DWR、HTMLParser和Web框架的整合。
每一个章节都逐步深入，从基础知识到实践操作，为开发自己的搜索引擎目录提供了全面的指导。通过实践和理解这些内容，你将能够构建出一个强大的搜索引擎系统。
扩展资料
该书是一本针对搜索引擎开发的书籍。通过学习本书，读者可以独立构建出一个企业级的搜索引擎网站。该书详细讲解了搜索引擎与信息检索基础，Lucene入门实例，Lucene索引的建立，使用Lucene进行搜索，排序，过滤和分页，Lucene的分析器，对Word、Excel和PDF格式文档的处理，Compass搜索引擎框架，Lucene分布式和Google Search API，爬虫Heritrix，HTMLParser，DWR等内容。最后综合使用所讲述的技术，构建了一个典型的垂直搜索系统，该系统具有很强的商业实用价值。
