基于flask框架的招聘信息采集及推荐系统的设计与实现-计算机毕业设计源码+LW文档

摘 要
随着社会经济的快速发展，人们的生活水平得到了显著提高，但随之而来的社会问题也越来越多。其中最为显著的就是就业问题。为此，招聘信息的展示也变得越来越为重要。但是在大量的招聘信息中，人们在提取自己最想要的信息时变得不那么容易，对于应聘者也是如此。本系统通过对网络爬虫的分析，研究智联招聘和中国残联就业创业网络服务平台网站数据，尝试使用Python技术进行开发，将智联招聘和中国残联就业创业网络服务平台网招聘信息尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。基于flask框架的招聘信息采集及推荐系统旨在提高数据挖掘的效率，便于科学的管理和分析招聘数据。
本文先分析基于flask框架的招聘信息采集及推荐系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了招聘的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对招聘数据结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。

[关键词] 爬虫，python，大数据，关键字，招聘数据

 
Abstract
With the rapid development of the social economy, people's living standards have significantly improved, but the accompanying social problems are also increasing. The most significant issue among them is the issue of employment. Therefore, the display of recruitment information has become increasingly important. However, in a large amount of recruitment information, it becomes less easy for people to extract the information they most want, and this is also true for job applicants. Through the analysis of web crawler, this system studies the data of Zhilian recruitment and the employment and entrepreneurship network service platform of China Disabled Persons' Federation, tries to use Python technology to develop, crawls the recruitment information of Zhilian recruitment and the employment and entrepreneurship network service platform of China Disabled Persons' Federation as far as possible, checks and judges the results, and finally visually analyzes them to provide users with accurate query results. The recruitment information collection and recommendation system based on the Flask framework aims to improve the efficiency of data mining and facilitate scientific management and analysis of recruitment data.
This article first analyzes the background and significance of a recruitment information collection and recommendation system based on the Flask framework; Analyze common crawling principles, acquisition strategies, information extraction techniques, etc; This system is developed using Python and built with a MySQL database, achieving data crawling for recruitment; Detect and visually analyze the query results of the database, manage the front-end interface of the system, analyze the crawling results, and display the recruitment data results on a large screen; Finally, the functions of data crawling, storage filtering, data visualization analysis, and system management are realized through testing.

[keywords] Crawler, Python, big data, keywords, recruitment data

 
互联网信息技术已经发展了很长时间，时至今日，越来越多的终端设备出现在人们的生活中，各种网络技术、移动终端日益成熟，而且价格越来越平民化。互联网技术已经到了前所未有的高度，借助于网络基础设施的建设，各种电子芯片和云计算快速的发展。传统信息的传播方式逐渐萎靡，比如报纸杂志等，几乎破产。目前人们只需要通过掌上电脑或者手机就可以查询到自己所需的信息，之所以网络设备如此受欢迎，是因为借助互联网技术所提供的强大信息呈现在网络中，只需要通过手指一点，就可以获取到自己想要知道的内容。用户只需要通过一个关键字，就可以从海量的信息中检索出相关的信息词条，然后将这些信息可视化呈现在用户面前，这种方式受到了用户的喜爱。
本课题所研究的基于flask框架的招聘信息采集及推荐系统也广泛存在于互联网中，通过智联招聘和中国残联就业创业网络服务平台网搜索引擎，我们可以获取到对应的招聘数据，然而这些方法大多比较零碎，没有进行专门的分类，甚至存在一些假冒的和带广告性质的宣传，严重影响了招聘数据的获取体验。
近年来，金融行业逐渐成为热门行业，金融行业是个大范围，这个行业实在太大，其中又有很多的分支领域。如何选择前景好的，适合自己的领域重点发展，这是必然之路。目前大多数招聘平台仅具有基础的招聘信息筛选功能，缺乏为求职者进行精准信息推荐功能，无法提供及时且高质量的招聘信息。
智联招聘和中国残联就业创业网络服务平台网目前是国内比较大的专业招聘平台，拥有大量的招聘信息和求职者。使用爬虫技术，对智联招聘和中国残联就业创业网络服务平台网招聘数据进行抓取，得到海量的信息，然后对数据进行处理和分析，最终将分析的招聘数据数据可视化展现出来，可以服务大众。因此，本选题将招聘数据信息的收集置于具体的智联招聘和中国残联就业创业网络服务平台网平台，从而进行研究招聘情况和岗位偏向。

爬虫的主要作用就是搜索到互联网络上的网页内容，然后根据规则存储新的数据。在爬虫设计中，关键的地方是有能力和快速的爬取到目标网站最新更新的内容，并根据相应的策略判断是否具有收取的价值。在目前爆炸式增长的网络环境中，如何快速有效的爬取目标网站的信息是非常重要的，而且爬虫程序需要具有鉴别能力，对重复的、无价值的信息进行过滤，提高数据的质量。
在目前技术条件下，爬虫被分为三种类型，增量型爬虫、聚焦型爬虫以及全网型爬虫。
增量型爬虫，指的是对于已经爬取过的网页不再进行全面收录。只针对新录入的数据进行收集，便于收录最新的数据。这种方式也是目前常用的一种类型，比如百度搜索引擎在面对海量的互联网网页情况下，如果全部进行全面的整体收入，势必会增加百度服务器的负担以及爬取的工作量，降低了存储资源的消耗。而通过增量型爬虫，只需要监控目标网站最新更新的网页和数据，并将其收录起来，这就明显降低了消耗，提高了爬起的工作效率，但是这种增量型爬虫复杂程度也较为复杂。
聚焦性爬虫，通过某一主题进行设计爬虫。本系统设计的就是聚焦性爬虫，针对招聘数据的爬取，其它无关的数据不会抓取。这种爬取可以明显降低数据收录的工作量，减少服务器的负担，在实现上较为简单，但是收录数据也比较单一。聚焦性爬虫使用面较窄，主要针对某一主题的爬取，也可以应用在电子商务数据的录上，专门收取某一产品的营销状况，为销售做方向的制定。而在招聘数据中，通过聚焦性爬虫，可以有效的爬取相关主题的数据，提高爬取的效率。
全网性爬虫，指的是全面的数据爬取，通常应用在搜索引擎上，因为全网数据量较大，抓取的数据通常是以亿为单位进行计量，对于重复的数据，也往往存在再次抓取的情况，所以全网性爬虫对抓取的速度、和服务器的存储都要求较高。在实际应用中，通常将增量性爬虫和全网性爬虫进行整合应用。比如搜索引擎先通过全网性爬虫收取到所有的网页信息，并通过增量性爬虫来进行对应网页的周期性爬取，来获取最新的数据，这样就降低了资源的消耗，也提高了爬虫的工作效率。

在程序开发语言中分为了高级编程语言和解释型语言。高级语言指的是面向对象或者面向过程的编程语言，高级语言脱离了机器的硬件设备，在设计上更容易理解，对应的程序也称为源。对于高级编程语言，需要进行编译，编译后的语言才能被计算机所理解。常见的有Java、C#等高级语言。解释型语言指的是通过机器可以一句一句的来解释执行，不需要进行编译，可以在任何平台上使用，比如Python、HTML、Perl都是属于解释型语言。脚本语言也属于解释性语言，通过文本形式编写，然后被机器所识别。解释性语言更有有利于开发，不需要复杂的编译过程。Python是一种高级的编程语言，它的本质是解释性，目前更新到第三个版本，和之前的版本也具有较大的差异，Python语言的底层是通过C语言开发的。
Python主要应用在自动化、数据爬虫、管理系统、人工智能等各个方面。本基于flask框架的招聘信息采集及推荐系统使用Python进行数据爬虫的处理和可视化展现两个部分。Python的特点是节解释性、面向对象、动态语言、交互式编程、跨平台性、类型不固定、可随意转换、数据和逻辑相分离、高级的数据结构、具有脚本式编程和交互性编程的特点，通过逐行输入，实现逐行执行。
本基于flask框架的招聘信息采集及推荐系统之所以选择Python进行开发，是因为Python具有强大的爬虫优势，通过简洁的语法和类库提供的爬取规则，简单轻松的爬取到目标网站的招聘数据数据。而且Python提供了许多的控制语句，比如if语句、for语句，while语句，通过for语句对爬取到的数据结果进行循环，然后处理数据结果。在数据插入时也可以通过for语句来进行数据的逐条插入。Python也提供了数据库的操作接口，通过引入Python的MySQL处理对象连接数据库后，使用通用的SQL语句方法实现招聘数据的存储。在数据可视化程序中，使用Python面向对象编程的特点开发出通用的管理系统，并进行数据的展示、管理等基本操作。另外，Python具有简洁的开发特点，每一行代码都更接近于自然语言的特点，可以方便初学者进行理解，其简洁的语语法特点，更适用于本系统的开发。

如需定做或者获取更多资料，请联系QQ：375279829