基于python的新冠肺炎数据的爬虫设计与实现

2020年春节新型冠状病毒肺炎爆发，全国进入紧急防控状态。新型冠状病毒肺炎，简称"新冠肺炎"。紧接着，全球各国陆续受到疫情影响，导致各国贸易中断。新冠肺炎数据分析系统在这种背景下产生，主要研究的是设计出一个能实现人员健康查询的程序，通过新冠肺炎数据分析，对目前紧张的疫情环境起到一定的保障作用。

另外，大数据和信息技术的快速发展,既给国内数据分析提出了新挑战,也带来了更大的机遇。面对新的形势和任务,利用数据可视化的优势,必须紧跟现代科技发展的前沿,通过大数据与关键事件的关联,对用户属性的聚类分析建立预测模型进行了研究,并应用到新冠肺炎的稳定性预测、发展预警等多个业务场景。使用Python爬虫在互联网中爬取相应的新冠肺炎数据，爬取到的数据，以及系统用户的数据，全部持久化到mysql数据库中，并能通过爬虫程序，及时更新数据，确保数据都是最新的数据。来构建新冠肺炎预警机制,强化信息收集能力,健全新冠肺炎信息网络,从而达到防患于未然的效果。本论文开发系统的意义主要体现一下几方面：

（1）在梳理大数据、新冠肺炎信息等基本概念以及通过访谈、资料收集等方式详细了解当前新冠肺炎大数据可视化应用具体情况的基础上,基于python的国内新冠肺炎数据的设计与实现，对当前新冠肺炎数据分析领域推进大数据应用的外部环境和内部条件进行综合分析。

（2）在实践上，在新冠肺炎数据分析领域推进大数据应用可以更好地对社会的公共安全、各类事件进行防范和治理,推动新冠肺炎治理工作有效开展,可以达到改善社会环境的目的。

社会的发展，计算机网络的作用日益重要，促进了生产的进步。计算机信息管理系统的便捷性超过了历史任何时期的工具，其大数据分析、信息收集、低成本等特点，是目前企业必须的重要工具。尤其是数据库技术的使用，成为收集数据必不可少的容器，信息系统结合数据库，可以快速的对数据进行处理，完成一定的业务逻辑。特别是近些年人工智能、互联网+的发展，带来了大量信息数据，通过大数据可以预测很多情况。存储数据的软件为数据库平台，数据库是管理系统的必备条件，经过多年的更迭，形成了专门的学科，是计算机软件的核心搭档。现实生活中的需求数据，通过关联，可以形成数据库存储的数据形式，体现了关键管理技术。

目前、我国正处于经济和社会的转型期，生产力水平和发展很不平衡，公共安全的社会基础、保障条件薄弱，与经济高速发展的矛盾越来越突出，影响着国民经济全面协调、可持续地发展，经常给人民生命和财产带来重大损失。同时、经济的快速发展对社会发展提出了更高的要求，加强公共安全管理，预防和减少各类灾害、重大生产事故、重大违法犯罪、恐怖事件、外来有毒有害物质和生物入侵、疫病疫情的发生，保持社会稳定和国家安全成为急待解决的战略任务。

通过新冠疫情的发展到控制，我国在极短时间内做出响应，体现出我国政府强有力的管理能力。另外，也反映出管理系统的优势，在几乎人手一机的前提下，使用新冠肺炎数据分析系统可以全面掌握各个区域的疫情状态。

新冠肺炎数据分析系统主要运用到数据场景，准确、高效、全面的对数据进行收集，支撑和分析，并且完善新冠肺炎数据信息网络的建设，做出预警并发出警报。另外非实时主要对区域的新冠肺炎现状或趋势进行预警，从而指出区域潜在的风险，加强新冠肺炎数据的收集，提前做好相应预案预防问题的发生。在日常或节假日中满足精确出警的要求，并形成灵敏、准确的新冠肺炎信息监控，达到有的放矢的力度预判。

在国外，有许多新冠肺炎数据分析模型，如华盛顿大学新冠疫情预测模型，预测模型由华盛顿大学健康指标与评估研究所开发，所用数据包括了约翰斯﹒霍普金斯大学、世卫组织、各国政府提供的死亡人数统计。更新后，该模型分析各州情况预测出地方政府放松社交距离政策的时间点，并强调时间早晚取决于疫情遏制措施，如检测、接触人员追踪、隔离、聚集规模限制等。

（1）使用Python爬虫在互联网中爬取相应的数据。

（2）设计一个应用系统，支持用户注册、登录验证、用户管理、权限设置。

（3）完成若干个多视图的页面设计，用于展示爬取到的相关数据，可以查看区域的数据，子类别数据并同样以图表形式呈现，只有验证通过的用户才能查看图表，不同权限的用户所能看到的数据也是不一样的。

（4）爬取到的数据，以及系统用户的数据，全部持久化到mysql数据库中，并能通过爬虫程序，及时更新数据，确保数据都是最新的数据。

（5）结合可视化呈现的结果，对数据进行一定的分析，得出自己结论，并尝试验证自己的结论。系统组织如下：

（1）绪论，是全文的开篇对系统的作用以及系统的背景等进行了论述，引出论文的研究目标与研究内容。

（2）相关技术介绍，对系统设计分析的关键技术进行了详细的论述，是全文的技术中心；

（3）系统分析。对系统的功能以及系统的可行性进行了详细的分析；

（4）系统设计，设计了系统的各个功能模块以及系统的数据库为系统实现奠定基础；

（5）系统实现，对系统的运行环境以及各个功能界面进行了实现；

（6）系统测试，对系统的功能以及系统的性能进行了测试验证；