基于spark的电商用户行为分析系统的设计与实现

电商平台在我国快速发展，而电子商务起源于美国，现在也算是在计算机领域中最为突出的国家之一，是电商的领军大国。我们亚洲地区的国家在电商领域属于后起之秀，发展也是越来越迅速，以至于现在的电商平台也越来越多。电商平台的到来给我们提供了生活的便利，我们可以通过手机或者电脑就可以选择我们想要的商品，并下单购买，足不出户就可以满足我们购买的需求。比如在必胜客App上订餐，我们消费者只需要在家里等配送小哥把我们订的餐送来即可，在很大程度上帮助了我们节省了时间，省去了与他人接触的不便，当然了也带给了我们温暖和快乐。电子商务虽然属于外来的引进的一类技术平台、甚至是消费平台，但是最为一名中国人，虽然中国处在一个发展中国家的地位，在经济方面还有待追赶那些类似美国这样的发达国家，但是我不得不说的是我们中国算得上是人口最多的国家，在我看来如果电子商务想获得飞速的发展那么就必须有足够多的用户去消费，在人数上中国是最多的国家，现如今也到了奔小康生活的年代，如果电商行业想要发展的越来越好，那么就一定要适应我们中国人的生活发展，朝着好的方向不断前行。

电商平台属于交易平台，是由商家和消费者构成的交易平台，在没有这类交易平台的时候，我们消费者一直都是用现金的方式在一些超市、门店等实体店进行交易。但是出现了电商平台之后，我们的消费方式就逐渐的发生了变化，从之前的现金交易转变成了网络交易，比如电子支付，网上银行，电子钱包等，并且在网上交易后还可以做出一些评价，方便其他人购买进行参考。在我国电子商务的发展一直都是稳速上升，看着发展越来越好的电商，我国的相关政府机构也出台了一些相关于电商的政策，例如:电子签名。还发表了一系列有关于电商的发展方向以及意见。从B2B到B2C再到C2C的发展也算是电商行业的进步。现在有些企业为了方便也开发采用了自己的电商平台，打造出自己的品牌，让更多的人甚至是消费者了解到自己的产品。一些电商大企业在我国也算是IT技术行业的领军公司，现在只要一提到淘宝就没有人不知道，我相信几乎在我们每个人的手里一定有至少一款电商类的App，因此说电商真的是无处不在，它已经走进了我们的千家万户，在我们的电商时代，只有你想不到的，没有电商做不到的。

电商的发展会产生大量的数据，通过大数据可以预测产业的发展。大数据是近年来兴起的一个热门概念，越来越受到人们的关注和重视。”大数据”一词最早出现在国外未来学家托夫勒所著的书籍《第三次浪潮》中。随后在《自然》杂志推出了”大数据”专栏，大数据逐渐成为互联网企业追捧的热门技术。以Hadoop技术为代表的整个大数据生态圈快速发展。

国外科学家在大数据基础理论领域做了很多开创性的工作。Google公司在2003-2006年发表的三篇论文GFS、MapReduce、BigTable风靡全球直接奠定了大数据技术的发展方向引领整个行业潮流。随后Apache 软件基金会以Google的论文为基础在代码层面进行实现，Hadoop随之诞生。自此以后大数据的发展进入井喷时代，大数据生态系统的组件 Hive、HBase、Storm 相继出现。最早将大数据技术用于商业化的公司是国外的著名管理咨询公司麦肯锡。麦肯锡公司很早就意识到各大互联网平台的用户行为信息具备巨大的商业价值,投入了巨大的人力物力进行用户信息的收集和挖掘。面对海量用户信息数据所蕴藏的巨大商业价值，也吸引了许多著名IT公司投入其中。传统电子行业巨头IBM公司不惜重金投入到大数据研发领域，收购了包括Visimio、Star Analytics等众多的数据分析公司。FaceBook也建立有自己的数据基地同时在全球拥有多个数据研发中心。Google一直是大数据领域的领头羊，拥有大数据领域的核心关键技术，包括数据存储、数据并行化计算、数据搜索等等。不光在产业界，国外政府部门也高度重视大数据的发展和应用。美国政府高度重视大数据,将其作为美国的核心竞争力之一，法国政府在其发布的《数字化路线图》中表示将大力推进大数据领域的发展，并投入巨额资金支持。日本政府也针对大数据领域的发展现状、面临问题进行探讨,考虑引入大数据技术为其国民提供更优质便利的服务。

相比于国外，国内大数据的发展起步较晚。由于中国政府对科技和技术的重视，2014年大数据首次写入中国政府的工作报告，随后国内的大数据发展逐渐受到各级政府和各大互联网公司的关注。国内的大数据研究也越发的受到重视，很多高校也随之成立了大数据学院用于大数据技术为等等在此先后落户。在产业界，国内的知名互联网企业都相继投入巨资成立大数据产品研发团队。阿里、华为、头条和京东这些企业在大数据技术的应用上也取得了很多不错的成绩。尤其以阿里巴巴以及其旗下的淘宝网、天猫商城的成功最为引人瞩目，阿里在国内率先以Spark 大数据处理平台为基础，分析其网站用户的各种行为数据，设计出基于Spark平台的推荐系统给用户做个性化的推荐。

Apache Spark是加州大学伯克利分校AMP实验室最初研发的，Spark可以称之为第三代核心大数据处理框架。相比于第一代大数据处理框架Hadoop和第二代大数据处理框架Storm,Spark将两者的优点集于一身。Spark 在实时计算中的吞吐量也是远远大于Storm的。

启动Spark集群处理的时候，分为几步进行。先把程序打包jar到集群运行。Driver端启动SparkContext，生成task schelduer，向maste集群管理者请求运算资源。executor向Driver端的SparkContext进行反向注册。DAG schelduer将用户写的计算逻辑构成DAG有向无环图，这个集合最终由task schelduer 放送给executor做并行化运算。