版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
了解了Sqoop与Azkaban的基本应用、理解了电商数仓的基本指标等知识后,为了
让学生掌握Hive数仓设计的基本流程及Hive数仓各层导入脚本的开发方法,特制订本项
项目实训采取理论+实战的学习辅导形式,先理论后实战,循序渐进,以练为主。
实训基础:教师带领学生解析项目案例,回顾之前课堂所学知识,了解Sqoop与
Azkaban的基本应用、电商数仓的基本指标和Hive数仓设计的基本流程等知识。
实战演练:教师带领学生完成Hive数仓建表和Hive数仓各层导入脚本的开发,通过
从该流程图中可以看到,该业务首先是将业务系统中的数据导入Hive数仓,在Hive
Hive数仓分为ODS层、DWD层、DWS层、ADS层,其中ODS层是原始数据层,
存放原始数据所谓的原始数据就是将业务系统的数据直接加载到ODS层数据保持不变,
不做任何处理。DWD层是明细数据层,这层的结构和粒度与ODS层保持一致,它只是对
ODS层的数据进行清洗。所谓清洗就是去掉脏数据,例如做去空格的处理、去掉一些不规
范的数据、去掉一些为空的数据等,类似这样的操作都是在DWD层实现的。DWS层是服
务数据层,它是以DWD层的数据为基础进行汇总,这层通常以某一个维度为线索组成跨越
主题的一个宽表,以方便我们进行分析。所谓宽表,以电商系统中用户的行为信息为例来说
明,在电商系统中用户行为可能包含浏览商品的数量、添加购物车的商品数量、下订单的数
量、支付商品的数量和金额等,这些行为在业务系统中属于不同的表,在数仓中要将这些表
汇总到一起,即形成一个宽表。ADS层是数据应用层,这层为各类统计报表提供数据,例
如电商系统中的一些指标分析、每日活跃的用户数、每日留存的用户数、每日新增的用户数
等。通过数仓分析以后会获得用户期望的报表数据,将报表数据导出到报表系统,最后通过
业务系统、Hive数仓、报表系统,三个系统之间数据的导入导出一般是使用Sqoop
•按照数据的日期创建分区表。之所以要创建分区表,是因为我们处理的是海量数据,
•数据进行压缩处理(snappy%同样是因为我们要处理的数据是海量数据,对数据
•数据进行维度退化处理。在业务系统中有些表维度是三级,例如商品分类表和地域
•DWD层:对ODS层数据进行过滤,对商品分类表和地域表进行维度退化处理。
•ADS层:GMV指标分析。ADS层涉及的指标非常多,这里我们要实现的是一个
了解了数仓的设计流程、设计说明和分层说明后下面我们来详细分析ODS层的设计。
首先我们来了解一下ODS层中包含的表,在该层中设计了订单表、订单明细表、商品
表、用户表、商品一级分类表、商品二级分类表、商品三级分类表、一级地域表、二级地域
该表的主要字段如上面图所示,其中的用户id(userjd)关联的是用户表中的id,区
该表的主要字段如上面图所示,其中的订单编号(ordejid)关联的是订单表中的id。
该表的主要字段如上面图所示,其中的三级分类id(category3_id)关联的是商品三
该表的主要字段如上面图所示其中有几个名称需要区分一下用户名称;login_name),
是用户登录系统时使用的名称;用户昵称(nick_name),一般在页面上显示用户信息时显
该表的主要字段如上面图所示,其中一级分类编号(categoryl_id)关联的是商品一
该表的主要字段如上面图所示,其中二级分类编号(category2_id)关联的是商品二
该表I:匕较简单,只有编号(id\区域编码(code)和名称(name)三个字段。
以上即为ODS层表的设计及表详情的介绍,大家对此要有一个总体的印象,在接下来
中选择电源启动客户机选项;然后在左侧窗口中单击hadoop2,在右侧窗口中
单击开启此虚拟机选项;继续在左侧窗口中单击hadoop3,在右侧窗口中单击”开启
返回lhadoopl窗口,输入jps命令,按下Enter键查看进程,如图所示。
切换到2hadoop2窗口,同样输入jps命令,按下Enter键查看进程,如图所示。
切换至!J3hadoop3窗口,输入jps命令,按下Enter键查看进程,如图所示。
接下来创建ODS层数据表。相关的建表语句在hive_create.txt文件中已经提供了,右
键单击该文件,在弹出的快捷菜单中选择EditwithNotepad++选项,使用记事本编辑器
以上面的建表语句为例来分析一下建表语句的构成及含义,第89行代码表示如果
ods_base_categoryl表存在,则删除该表;第90行代码表示创建一个名为
ods_base_categoryl的外部表;第91行、92行代码表示创建表的两个字段分别为id和
name;第93行代码表示对该表的注释为商品一级分类;第94行代码表示按照日期做
分区,出为datetime的简写;第95行代码表示使用\t来分隔;第96行代码表示该表的
复制订单表的建表语句,切换到Linux客户端工具的lhadoopl窗口粘贴,按下Enter
按照相同的方法依次复制订单详情表、商品表、用户表、商品一级分类表、商品二级分
类表、商品三级分类表、支付流水表、一级地域表、二级地域表、三级地域表的建表语句到
1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
达州市达川区教育局招聘省属公费师范毕业生笔试线 年初中秋季开学第一课强对流暴雨雷电天气避险科普班会
TCNAS53-2025抗肿瘤药物静脉给药技术学习解读课件附送标准全文可编辑版