机构地区: 中国科学院计算技术研究所
出 处: 《计算机工程》 2005年第3期123-124,194,共3页
摘 要: 介绍了一种通用的Web信息采集系统,给出了系统总体结构,分析了信息采集器、采集控制服务器和信息发布服务器,讨论了系统实际的应用。实践证明,该系统能够对Internet信息进行自动采集,并对今后的应用提供充分的支持,具有良好的通用性。 The paper introduces the design and realization of a general Web crawler, presents the whole structure of the system, analyzes gather, control and data publish, discusses the practical applications. The experiment proves that the system can automate crawl Internet information and provide sufficiency support for following information applications, and have nice generality.