基于Python的招聘网站信息爬取与数据分析

 毕业设计题目

基于Python的招聘网站信息爬取与数据分析

课题的意义

随着互联网的迅速发展，大数据时代的来临，数据挖掘在从海量数据中探查潜在的价值信息起到了重要的作用，成为当下热门的研究和实践方向之一。python作为数据挖掘领域中较为热门的程序语言，其丰富的技术库和强大的科学计算能力成为数据挖掘过程中不可或缺的工具。进入信息时代后，数据规模在不断的扩展，如何有效的从海量数据中提取所需信息成为当今各行各业关注的焦点。大数据时代，数据呈现出复杂、庞大的特性，一般的数据处理手段想从中获取到有价值的信息将十分困难。数据挖掘技术结合进化计算、信息论、信号处理等各多个领域的思想，通过多种复杂的算法，从大量未加工的数据集中解析出数据间潜在关系以及有效的知识信息。近年来，数据挖掘技术快速进步，在商务、医学、科学与工程等多种行业都取得了显著成果。数据挖掘技术随着大数据时代的到来，其研究价值也随之增高。

企业要生存，要发展，要不断壮大，依靠的只有信息。以信息获取为中心的原则是亘古不变的，才能在市场领域取得立足之地。而获取招聘网站信息的基础是知道收集什么数据，在互联网平台大力发展下，其中包括的数据信息量巨大，使用爬虫技术，对招聘网站数据进行抓取，得到海量的信息，然后对数据进行处理和分析，最终根据不同地区、学历要求等条件对某一职业的薪资进行分析，并将分析的数据可视化展现出来。

国内外发展状况

数据仓库技术就是将数据收集、整理、分析自动化处理，降低经营成本，操作简单快捷，提高利润率的同时，信息也得到有效地利用。爬虫的数据分析系统中应用了数据仓库技术，数据更新的及时促进了系统的运行。

在美国，数据收集和分析也是目前广受欢迎的行业，如通过实施和应用爬虫系统，收集客户相关信息，有效记录客户信息，从海量数据中挖掘最有效的客户信息，根据不同客户特性，对客户和市场细分，提供不同的产品和营销策略。在应用数据分析系统过程中，也在不断分析市场，分析认为在金融业竞争力已大大下降，客户更希望得到随时随地随身的服务。

美洲企业把数据库技术应用在数据分析上，它的客户管理系统最大的优势是拥有自己的数据仓库。由于自身独有的北美最大客户信息数据库，通过多处数据仓库型信息管理系统传来的各种信息，精确搜集有价值的客户数据，同时筛选后的价值客户信息生成报告快速发布给全行。利用数据仓库性客户信息管理系统，大幅度减少了处理数据的成本，极大提高信息的时效性，有价值的信息更能被深入挖掘并加以有效利用。

从国外企业在实践数据分析系统的经验来看，企业必须对用户多样性需求予以足够的关注，通过数据挖掘，来细分信息，根据客户的不同特性来制定千人千面的营销策略，来取代单纯的产品销售，有利于银行自身市场价值的创造。

在国内，汇丰银行通过数据分析，解决客户管理模式，分析归纳客户金字塔结构，如顶级客户、大型客户、小型客户、非活跃客户、准客户和潜在客户等。同时对客户情况进一步深入分析，为他们提供相应的产品，得到客户最满意的服务。汇丰银行还设立专门客户关系管理团队服务，无论何时何地，客户需要任何个性化的服务和帮助，都可以随时满足。

大数据正渗透到人类社会的方方面面，不仅改变人们的思维方式、工作方式和生活方式，改变社会的生产力与生产关系，而且成为未来的"新石油"、"新金矿"、"新资源"和创新的"新引擎"。如能有效地将大数据分析系统与移动互联网技术、线上线下一体化服务体系进行紧密融合，就可为企业的客户提供"千人千面"的个性化服务。

本文通过基于Python的招聘网站信息的数据分析系统的研究、分析与设计，实现抓取招聘网站的数据信息，为企业提供用户的个性化服务，降低工作人员工作强度，提高工作效率，更为数据分析提供了强大的数据支撑。

研究内容

本课题对某招聘网站进行数据爬取，爬取内容为某一职位的有关招聘信息，包括公司名称、薪资、学历要求、经验要求、地址、岗位需求、职位名称。通过对该网站招聘信息的爬取，可以获取到很多有价值的信息，通多对信息的分析能够帮助求职者了解到某一职业的最新情况。

系统选使用Python进行信息采集，使用Spider蜘蛛爬取网上数据，建立索引，搜索记录。然后对收集的网页进行整理，生成JSON文件，保存信息。

通过Charles抓取，Charles是一个HTTP代理服务器,HTTP监视器,反转代理服务器，当浏览器连接Charles的代理访问互联网时，Charles可以监控浏览器发送和接收的所有数据。

http的发送和请求是服务器和客户端沟通的桥梁，爬虫程序使用Request模仿用户的请求，发送请求头、请求体的内容，来获取远程服务器返回的数据。

本爬虫获取站点数据速度有限，可开启多个线程，进行操作。

爬取到解析html数据后，使用正则表达式（RE模块），解析json数据，以csv的方式写入文件。

研究方法

(1)文献研究法：通过调查相关文献获得资料并对其进行研究分析，先对要采用的技术进行由浅入深，由易到难，由简到繁的学习和巩固，然后对基于Python的招聘网站信息爬取与数据分析系统进行分析，并重视研究已有的案例。

(2)案例分析法：通过了解目前市场上已有的基于Python的招聘网站信息爬取与数据分析的功能，了解其优点和缺点，再根据这些设计出更完善的系统。

(3)对比分析法：利用该方法将设计的系统与其它系统进行相对比，及时发现不足之处，并通过社会实践对比与实际需求的差距，不断改进与完善。

研究手段

= 1 \* GB3 ① 认真调研分析，熟悉平台工作的主要流程，完整、彻底搞清用户需求，系统应符合实际需求。

= 2 \* GB3 ② 阅读大量相关的文献资料。

= 3 \* GB3 ③ 按照毕业设计时间安排，保质保量完成各阶段任务，并主动按时提交相应成果或作品。

= 4 \* GB3 ④ 程序要求编码规范，运行结果正确，界面友好，项目文档基本规范，项目按计划完成。

= 5 \* GB3 ⑤ 论文要紧贴题意，语言流畅、文句通顺。

= 6 \* GB3 ⑥ 不抄袭、剽窃他人成果，树立和养成高尚文明的科研风气。

= 7 \* GB3 ⑦ 按照毕业设计（论文）要求提交最终软件系统和论文。

研究步骤

= 1 \* GB3 ① 掌握Python的设计模式，熟悉Python的逻辑结构和处理关系、Python结构的设计原则；熟练掌握Python的开发过程，明确层次处理和细节实现，根据功能要求设计所有的视图页面，明确数据来源，从理论上勾勒出成功的结构模型。

= 2 \* GB3 ② 数据爬取：根据指定的网站，对网站招聘信息，进行爬取。并生成相应的数据文件。

= 3 \* GB3 ③ 数据展示：读取数据后，使用matplotlib进行可视化界面设计，最终根据不同地区、学历要求等条件对某一职业的薪资进行分析，并将分析的数据可视化展现出来。

= 4 \* GB3 ④ 做最后的修缮和调整，使得功能全面、运行流畅、贴近实际运行环境。

= 5 \* GB3 ⑤ 整理资料完成论文。论文的形成要求以研究和设计结果为依据，论文的结构合理具有科学性，内容论述清楚，最终能够具有相关领域的参考价值。

参考文献

[1] 面向建材信息的网络爬虫系统的设计与实现[D]. 于怀宝.北京交通大学 2015

[2] 基于Python技术的校园网搜索引擎的设计与实现[D]. 耿大伟.燕山大学 2015

[3]基于Python的企业安全漏洞管理方法研究[D]. 胡忠帅.北京邮电大学 2015

[4]基于R语言的DNA微阵列数据分析与挖掘平台的构建[D]. 李勃.重庆大学 2013

[5]面向特定网页的Web爬虫的设计与实现[D]. 马慧.吉林大学 2012

[6]主题网络爬虫的分析与设计[D]. 王洪威.北京邮电大学 2013

[7]面向微博的网络爬虫研究与实现[D]. 刘晶晶.复旦大学 2012

[8]基于页面分析的网络爬虫系统的设计与实现[D]. 郝以珍.华中科技大学 2012

[9]基于Hadoop的分布式网络爬虫技术[D]. 郑博文.哈尔滨工业大学 2011

[10]搜索引擎中网络爬虫及结果聚类的研究与实现[D]. 梁萍.中国科学技术大学 2011

[11] John D. Haney， Craig A. Vanlengen．SERVER-SIDE SCRIPTING USING ACTIVE SERVER PAGES AND VBSCRIPT [D]．Consortium for Computing Sciences in Colleges，USA，2016：164-169

[12] Liang Dan-xi ，Liu Gang，Li En-min, ，Peng Xue-hua．Database-Based Web Page[J]．Wuhan University Journal of Natural Sciences，2011，03：443

指导教师意见

签字：                    年     月     日