导 师: 卢建朱
授予学位: 硕士
作 者: ();
机构地区: 暨南大学
摘 要: 本文以航空公司对互联网运价数据收集与分析过程作为研究对象,研究航空公司管理部门对互联网运价数据采集相关的问题,叙述航空空司运价采集管理系统的设计及实现。 通过该系统大规模采集互联网运价实施过程为研究案例,分析互联网上的机票价格相关数据对航空公司的重要性,其中包含市场趋势分析、竞争对手分析、定价决策等多个方面;同时阐述大规模互联网运价数据采集与存储所存在的技术问题及应对思路,通过对该系统的实施,满足航空公司对互联网公开运价数据从采集、分析,到进一步的全网全航线的数据监听,进一步论证大规模采集互联网运价数据的可行性。 论文在对大规模互联网数据采集的实现,反抓取技术的应对方案,海量数据的存储都进行了深入分析与论述说明,其中包括系统的总体设计、逻辑设计,关键模块技术设计,并且建立相应的监控管理工具,以维护平台的日常运维管理。