python基于爬虫的个性化书籍推荐系统-计算机毕业设计源码+LW文档

摘  要
近年来，随着互联网的蓬勃发展，企事业单位对信息的管理提出了更高的要求。以传统的管理方式已无法满足现代人们的需求。为了迎合时代需求，优化管理效率，各种各样的管理系统应运而生，随着各行业的不断发展，个性化书籍推荐系统建设也逐渐进入了信息化的进程。
这个系统的设计主要包括系统页面的设计和方便用户互动的后端数据库，而前端软件的开发则需要良好的数据处理能力、友好的界面和易用的功能。
数据要被工作人员通过界面操作传输至数据库中。通过研究，以MySQL为后端数据库，以PYTHON为前端技术，以IDEA为开发平台，采用DJANGO架构，建立一个提供个人中心、用户管理、书籍分类管理、热门书籍管理、公告栏管理、小说信息管理、在线反馈、系统管理等必要功能的、稳定的个性化书籍推荐系统。
关键词：书籍；DJANGO框架；MySQL数据库
 
 
Abstract
In recent years, with the vigorous development of the Internet, enterprises and public institutions have put forward higher requirements for information management. Traditional management can no longer meet the needs of modern people. In order to meet the needs of The Times and optimize management efficiency, a variety of management systems emerge at the historic moment. With the continuous development of various industries, the construction of personalized book recommendation system has gradually entered the process of information.
The design of this system mainly includes the design of the system page and the back-end database which is convenient for users to interact with, and the development of the front-end software needs good data processing ability, friendly interface and easy-to-use functions.
The data should be transferred to the database by the staff through the interface operation. Through research, MySQL as the back-end database, PYTHON as the front-end technology, IDEA as the development platform, using DJANGO architecture, Establish a stable personalized book recommendation system that provides the necessary functions of personal center, user management, book classification management, popular books management, bulletin board management, novel information management, online feedback, system management and so on.

Key words: books; DJANGO framework; MySQL database
 
目 录
1 绪  论 1
1.1开发背景 1
1.2国内外研究现状和发展趋势综述 1
1.3开发设计的意义及研究方向 1
2 系统开发技术 3
2.1 PYTHON简介 3
2.2 Hadoop介绍 3
2.3 Scrapy介绍 3
2.4 Django框架 4
2.5 IDEA介绍 4
2.6 B/S架构 4
2.7 MySQL数据库介绍 4
3系统分析 6
3.1整体分析 6
3.2功能需求分析 6
3.3 系统可行性分析 7
3.3.1技术可行性 7
3.3.2经济可行性 8
3.3.3操作可行性 8
3.4系统流程分析 8
3.4.1操作流程 8
3.4.2添加信息流程 9
3.4.3删除信息流程 10
4 系统设计 11
4.1 系统体系结构 11
4.2 系统总功能结构设计 12
4.3 数据库设计 12
4.4 数据表 14
5 系统详细设计 19
5.1系统功能实现 19
5.2管理员功能实现 21
6  系统测试 27
6.1 运行环境 27
6.1.1软件平台 27
6.1.2 硬件平台 27
6.2 测试过程 27
6.2.1 界面测试 27
6.2.2 功能测试 27
6.2.3系统的测试环境 28
结  论 29
参考文献 30
致  谢 31

 
 
1 绪  论
本章主要介绍个性化书籍推荐系统的研发背景和研究意义，世界各国研究现状，明确了系统软件设计理念，得到了研究内容和具体内容。
1.1开发背景
随着网络的飞速发展，网络技术的应用越来越广泛，而信息技术的飞速发展，计算机管理系统的优势也逐渐体现出来，大量的计算机电子信息已经进入千家万户。基于爬虫的个性化书籍推荐系统已跟随信息时代的重要代表，由于涉及的数据量大，以往人工管理已难以维护，因此采用信息技术进行管理。计算机系统管理模式代替了人工管理的方式，比以往人工管理的方式，采用计算机使个性化书籍推荐信息查询方便，信息准确性高，降低成本，提高效率，本系统的开发主要以个性化书籍推荐为对象，根据功能需求开发信息系统。
1.2国内外研究现状和发展趋势综述
在传统的纸质档案或office办公软件等作为载体利用人力进行个性化书籍推荐信息管理，存在不少的不完善的地方，如：效率低下，保密 性差，不利于进行查找、更新、维护等。由于这些情 况，管理者面对用户的信息管理有很大困难，严重影响了管理者的工作效率，对于这些情况，使用计算机电子信息技术来实现个性化书籍推荐信息的现代化管理，或以迅速查找想要的资料，使用起来十分方便且安全可靠，可大量保存数据，保密性好，载体不易磨损老化，设立成本低等。这些优点能够极大地提高个性化书籍推荐信息管理的效率，只有这样，才能在市场经济发展的进程中获得竞争的有利地位，才能真正地走向科学化、规范化、现代化。实现了管理的科学化和统一，有效地防止了人为统计过程中产生的差错，极大的节省了用户的时间，也使管理人员工作的质量得到了极大的提升。
1.3开发设计的意义及研究方向
随着个性化书籍推荐规模的扩大,个性化书籍推荐信息呈现多样化、复杂化趋势,从而给用户管理个性化书籍推荐信息时带来了许多新的问题。随着用户人数的增多,个性化书籍推荐信息越来越多，而传统工作方式则是获得资料缓慢，查找难度大，准确性低，难以满足高水平作业要求。所以，如何为用户提供更方便快捷查询个性化书籍推荐信息，以及如何利用现代技术更科学、高效地管理个性化书籍推荐信息，是开发此系统的主要目标。 
采用传统的人力资源管理方式，有很多不足之处，例如：效率低、保密程度低、时间久了会生成很多资料，而且不方便查询、升级、维修等。我们可以利用计算机技术来取代传统的管理模式，实现个性化书籍推荐信息的现代化管理。只有这样，才能让个性化书籍推荐管理的进程中获得竞争的有利地位，才能真正地走向科学、规范化、现代化。实现了管理的科学化和统一，有效地防止了人为的差错，使工作的工作质量得到了极大的提升。
为了提高个性化书籍推荐信息管理的效率；充分利用现有资源；减少不必要的人力、物力和财政支出来实现管理人员更充分掌握个性化书籍推荐信息的管理；开发设计专用系统--基于爬虫的个性化书籍推荐系统来进行管理个性化书籍推荐信息，它将实现检索迅速和查找方便；信息的录入，修改和删除功能。
 
2 系统开发技术
2.1 PYTHON简介
Python不仅可以取代NCL，还可以实现NCL不具备的许多功能，极大地改善了用户体验，这已成为未来的趋势。与Highcharts和eCharts等Web前端可视化工具相比，Python在数据可视化领域更为专业。
Python目前支持使用第三方库，如netCDF4、Numpy、Matplotlib、Canopy和Xarry，以解析和可视化NetCDF格式的数据，从而使Pythone易于处理数据。
2.2 Hadoop介绍
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。主要有以下优点：
（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（4）低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
2.3 Scrapy介绍
Scrapy是一个抓取系统数据和提取结构化数据的框架，它可以应用在广泛的应用中:Scrapy通常用于一系列应用，包括数据挖掘、信息处理或存储历史数据。使用Scrapy框架实现一个爬虫程序通常非常简单，抓取给定系统的内容或图像。
虽然Scrapy是为屏幕抓取(或者更准确地说是网页抓取)而设计的，但它也可以用于访问api以提取数据。
2.4 Django框架
Django被官方称之为“完美主义者框架”，只需要很少的代码就能更快的完成一个优秀的Web应用。Django采用了MTV框架模式，此模式根据MVC进行改进形成了更适于Django的设计模式。M为模型（Model）、T为模板（Template）、V为视图（View）。
2.5 IDEA介绍
IDEA全称IntelliJ IDEA，是Python计算机语言开发的集成环境。IntelliJ是业内认可的较好的Python开发专用工具，尤其是它在智能化代码小助手、代码全自动提醒、构建、J2EE适用及其各种各样版本号专用工具(git、svn等)层面的作用、JUnit、CVS集成、代码剖析、自主创新的GUI设计。IDEA是总公司坐落于捷克布拉格的JetBrains企业的商品。它的开发者主要是以认真细致而出名的东欧其他国家程序员。其旗舰型还适用HTML、CSS、PHP、MySQL、Python等。
2.6 B/S架构
本系统采用的是B/S架构，在这种架构下，系统的操作页面在网络上去显示，操作页面提交操作信息给到代码逻辑三层结构架构如图2.1所示:
 
图2.1  三层结构架构工作原理
2.7 MySQL数据库介绍
MySql做为瑞典公司MySql AB开发的中小型开源数据库智能管理系统，具备配备低、低成本、运作速度更快的优势。与此同时，因为社区版的开源系统性，变成了许多网址减少开发成本费的最佳选择。被甲骨文回收后，MySQL也发布了商业版。另外Mysql具有以下特性：
（1）使用C和C++编写，并使用了多种编译器进行测试，保证源代码的可移植性。
（2）为C、C++、Eiffel、Python、Perl、PHP、Python、Ruby和Tcl等多种编程语言提供了API。
（3）采用多线程并行的方法提高了CPU的利用率。
（4）改善算法，有效地提高查询速度。
 
系统按照用户的实际需求开发而来，贴近生活。从管理员通过正确的账号的密码进入系统，可以使用相关的系统应用。管理员总体负责整体系统的运行维护，统筹协调。
系统整体模块设计：系统分为管理员和用户两大角色，系统管理员有最大的权限，总体功能展示如图4-3所示。

本文章针对目前个性化书籍推荐的方式，以及对其需求进行了细致的剖析，并在此基础上，开发了一套适合于现代的个性化书籍推荐管理的软件。方便用户快捷地管理个性化书籍推荐信息。在开发过程中，我查阅了大量的相关资料，并利用网上对个性化书籍推荐管理进行了全面详细的需求分析。在导师的帮助下，我学习并克服了技术难点，基本完成了个性化书籍推荐系统所要求的功能。
该系统的开发架构十分合理，在开发初期、中期维护、后期维护等方面都能很好地满足开发人员对复杂的编程结构的需求。通过对系统的多次重复测试，发现了很多bug和问题，并对其进行了修正，从而使程序的运行质量得到了改善。整个系统经过了测试，取得了预期的结果，并将在今后的工作中进一步改进和改进。
该系统在功能实现上主要包括对个人中心、用户管理、书籍分类管理、热门书籍管理、公告栏管理、小说信息管理、在线反馈、系统管理等功能进行管理。在项目开发方面，采用django框架集和mysql数据库进行开发，使系统开发更加稳定、易于维护。在使用方面，该系统节省了大量的人力和物力，具有响应速度快、页面美观等优点。
作为一个个性化书籍推荐系统，该系统具有简单、方便、易于管理的优点。由于对框架和技术语言的掌握不够，系统只能实现基本功能，不能突破创新。希望我的技术能够得到改进和创新，从而完善和创个性化书籍推荐信息管理体制。例如：
（1）在功能方面，由于技术上的限制，没有完整的设计来实现完全创新的系统功能，数据表设计也没有完成，可以增加维护记录、访客信息管理等功能来完善个性化书籍推荐控制系统。
（2）优化页面后，您可以设计自己的徽标和更漂亮的标语。同时，您可以替换一组基于引导的前端组件库sui，以美化系统方面。
（3）代码：以前的样式在编写代码时缺乏创新。与其他系统相比，该管理系统简单、独创。在功能代码的实现方面，代码是复杂的，需要修改编码规范和页面样式。在这个考试项目中，我对分层设计的思想有了更好的理解。

如需定做或者获取更多资料，请联系QQ：375279829