数据仓库面试题?

时间:2024-04-23 14:56 人气:0 编辑:admin

一、数据仓库面试题?

以下是一些数据仓库面试题:

 

1. 什么是数据仓库?

2. 数据仓库的作用是什么?

3. 数据仓库和数据库的区别是什么?

4. 数据仓库的架构是什么?

5. 如何进行数据仓库的建模?

6. 如何进行数据仓库的 ETL 流程?

7. 如何进行数据仓库的性能优化?

8. 如何进行数据仓库的备份和恢复?

9. 如何进行数据仓库的安全管理?

10. 如何进行数据仓库的监控和优化?

 

以上是一些常见的数据仓库面试题,你可以根据自己的经验和知识进行回答。

二、一道数据仓库项目管理面试题?

--建立临时视图1,检索每个部门第一名分数

createorreplaceviewtemp_v1as

select部门号,max(成绩)as成绩fromEmployeegroupby部门号;

--在临时视图1的基础上建立临时视图2,检索第二名分数

createorreplaceviewtemp_v2as

select部门号,max(成绩)as成绩fromEmployee

where(部门号,成绩)notin(select*fromtemp_v1)

groupby部门号;

--联合两个临时视图的查询结果,建立临时视图3

createorreplaceviewtemp_v3as

select*from

(select*fromtemp_v1unionselect*fromtemp_v2)

orderby部门号,成绩;

--建立目标视图

createorreplaceviewVdepEm2as

select部门号,员工号,成绩fromEmployee

where(部门号,成绩)in(select*fromtemp_v3);

*******************

昨天有点事情耽搁了,这个应该可以实现你的要求。如果不允许建立临时视图的话,你把这几个临时视图糅进去就可以了。

三、数据仓库包括操作?

高层整理仓库数据,数字笔记,人员运行,另外还包括机器操作等数据,也就是查看的意思。

四、大数据仓库前景?

绝对有钱途, 我推荐过两个大学毕业生,做了2,3年月薪都7-8k,如果英语不错,绝对上万

数据仓库最吃钱了,许多都是有钱的大公司钱没地花,大部分的数据仓库在投入前3年都没有多大的ROI,知道正在开始使用在markting, CRM才会产生更多revenue,但对于基本dashboard,还有作为stratedgy的数据基础。

没有数据仓库大企业势必会失去一些竞争优势,特别是前瞻。

五、数据仓库是什么?

大数据主要有三个特点:实时、多样、量大、价值。大数据不仅量大,对于数据的处理也成为了最基本的配置。大数据还能整合各种各样的数据类型,无论是结构化数据还是非结构化数据都能够进行处理。

在这个时代,数据依然是最重要的,如何在利用的时候控制好数据,是对一个企业的考验。数据在生活中是无处不在的,手机产生的记录、移动互联网产生的数据、取款时产生的数据、购物时产生的数据、行李从一个城市到另外一个城市产生的数据等。就算一个小小的店铺,卖出一瓶饮料,也会产生数据,而数据就记录着这个世界的存在与变化。

当某个企业的数据量巨大、资产非常重要时,就需要对它进行管理控制。如今数据已经成为了企业的资产。在以前,数据被人们看作是附属物,而不是资产。只要企业进行交易就会产生这些附属物,而现在发现这些交易的数据信息中蕴含着用户的需求,成千上万条信息积累下来,就能够准确的知道用户的需求,为用户这几新的产品,在营销上就产生了新的价值。所以,数据就成为了企业的资产,需要被管理和控制起来。

近几年,数据的控制管理工具发展的很缓慢而且它只是一些大型公司的工具,有实力的公司才会为它买单,这就让数据的控制管理变得高高在上,这就让数据作为资产还只停留在理念的层面上。

人们也一直在讨论,数据仓库能给企业带来什么?数据仓库对数据的控制主要体现在以下6个方面:

企业要通过快速、及时、方便、安全、准确、整合这6个方面对数据库进行有效的控制。下面具体介绍一下数据库对数据控制的体现方面,其内容包括以下几点:

1.对数据快速的访问

利用数据仓库模型中的软件和硬件对数据快速的访问。比如刚收集来的数据,选择是否需要存储,或是采用其它的存储技术。

2.能确保数据的整合性

当企业需要一年内的大量数据,或者是企业的视图数据时,需要数据库模型的整合支持。

3.保障数据的及时性

当数据批量抽取不足够时,需要及时的对数据进行数据流处理。

4.控制让数据的访问更便捷

不仅将数据以表格的形式进行控制管理,还可以将数据以字段的形式进行管理,这样就可以将数据分成更小更细的数据进行控制。

5.控制管理后的数据能够保证数据一致性,让数据变得更加的可信。

6.对数据进行权限管理

对数据加以控制后,可以防止企业的数据外漏,保障了数据的访问安全。

传统的数据库并不能对数据进行分析控制,数据仓库的兴起,使传统的数据库和面向分析的分析型数据分离开来,形成各自的形式。数据仓库的形态一般都是软硬一体,这样能够提供最佳的控制效果。这样的数据库会采用更先进的查询技术,以大规模并行处理和列式处理为代表。

另外,新兴的互联网企业也在尝试一些性的技术对大数据进行控制,比如谷歌的MapReduce,就能够对数据很好的控制。一些相对低廉的数据仓库也能够降低数据控制的门槛,一些小型的公司不必和大型的公司去较真价格。有开源的产品和足够的硬件存储,再加上一支专业的团队,就可以构建一个数据仓库平台,对数据进行有效的控制。

六、数据仓库网络要求?

数据仓库的网络要求必须拥有稳定,而且符合功率的网速条件才可以达到要求

七、数据仓库的含义,数据仓库和数据库的区别?

一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途:

整合公司所有业务数据,建立统一的数据中心;

提供各种报表,有给高层的,有给各个业务的;

为网站运营提供运营上的数据支持,就是通过数据,让运营及时了解网站和产品的运营效果;

为各个业务提供线上或线下的数据支持,成为公司统一的数据交换与提供平台;

分析用户行为数据,通过数据挖掘来降低投入成本,提高投入效果;比如广告定向精准投放、用户个性化推荐等;

开发数据产品,直接或间接为公司盈利;

建设开放数据平台,开放公司数据;

。。。。。。

上面列出的内容看上去和传统行业数据仓库用途差不多,并且都要求数据仓库/数据平台有很好的稳定性、可靠性;但在互联网行业,除了数据量大之外,越来越多的业务要求时效性,甚至很多是要求实时的 ,另外,互联网行业的业务变化非常快,不可能像传统行业一样,可以使用自顶向下的方法建立数据仓库,一劳永逸,它要求新的业务很快能融入数据仓库中来,老的下线的业务,能很方便的从现有的数据仓库中下线;

其实,互联网行业的数据仓库就是所谓的敏捷数据仓库,不但要求能快速的响应数据,也要求能快速的响应业务;

建设敏捷数据仓库,除了对架构技术上的要求之外,还有一个很重要的方面,就是数据建模,如果一上来就想着建立一套能兼容所有数据和业务的数据模型,那就又回到传统数据仓库的建设上了,很难满足对业务变化的快速响应。应对这种情况,一般是先将核心的持久化的业务进行深度建模(比如:基于网站日志建立的网站统计分析模型和用户浏览轨迹模型;基于公司核心用户数据建立的用户模型),其它的业务一般都采用维度+宽表的方式来建立数据模型。这块是后话。

整体架构下面的图是我们目前使用的数据平台架构图,其实大多公司应该都差不多:

逻辑上,一般都有数据采集层、数据存储与分析层、数据共享层、数据应用层。可能叫法有所不同,本质上的角色都大同小异。

我们从下往上看:

数据采集数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上,期间有可能会做一些简单的清洗。

数据源的种类比较多:

网站日志:

作为互联网行业,网站日志占的份额最大,网站日志存储在多台网站日志服务器上,

一般是在每台网站日志服务器上部署flume agent,实时的收集网站日志并存储到HDFS上;

业务数据库:

业务数据库的种类也是多种多样,有Mysql、Oracle、SqlServer等,这时候,我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具,Sqoop是一种,但是Sqoop太过繁重,而且不管数据量大小,都需要启动MapReduce来执行,而且需要Hadoop集群的每台机器都能访问业务数据库;应对此场景,淘宝开源的DataX,是一个很好的解决方案(可参考文章 《异构数据源海量数据交换工具-Taobao DataX 下载和使用》),有资源的话,可以基于DataX之上做二次开发,就能非常好的解决,我们目前使用的DataHub也是。

当然,Flume通过配置与开发,也可以实时的从数据库中同步数据到HDFS

来自于Ftp/Http的数据源:

有可能一些合作伙伴提供的数据,需要通过Ftp/Http等定时获取,DataX也可以满足该需求;

其他数据源:

比如一些手工录入的数据,只需要提供一个接口或小程序,即可完成

数据存储与分析毋庸置疑,HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。

离线数据分析与计算,也就是对实时性要求不高的部分,在我看来,Hive还是首当其冲的选择,丰富的数据类型、内置函数;压缩比非常高的ORC文件存储格式;非常方便的SQL支持,使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多,一句SQL可以完成的需求,开发MR可能需要上百行代码;

当然,使用Hadoop框架自然而然也提供了MapReduce接口,如果真的很乐意开发Java,或者对SQL不熟,那么也可以使用MapReduce来做分析与计算;Spark是这两年非常火的,经过实践,它的性能的确比MapReduce要好很多,而且和Hive、Yarn结合的越来越好,因此,必须支持使用Spark和SparkSQL来做分析和计算。因为已经有Hadoop Yarn,使用Spark其实是非常容易的,不用单独部署Spark集群,关于Spark On Yarn的相关文章,可参考:《Spark On Yarn系列文章》

实时计算部分,后面单独说。

数据共享这里的数据共享,其实指的是前面数据分析与计算后的结果存放的地方,其实就是关系型数据库和NOSQL数据库;

前面使用Hive、MR、Spark、SparkSQL分析和计算的结果,还是在HDFS上,但大多业务和应用不可能直接从HDFS上获取数据,那么就需要一个数据共享的地方,使得各业务和产品能方便的获取数据; 和数据采集层到HDFS刚好相反,这里需要一个从HDFS将数据同步至其他目标数据源的工具,同样,DataX也可以满足。

另外,一些实时计算的结果数据可能由实时计算模块直接写入数据共享。

数据应用

业务产品

业务产品所使用的数据,已经存在于数据共享层,他们直接从数据共享层访问即可;

报表

同业务产品,报表所使用的数据,一般也是已经统计汇总好的,存放于数据共享层;

即席查询

即席查询的用户有很多,有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大,他们都有即席查询数据的需求;

这种即席查询通常是现有的报表和数据共享层的数据并不能满足他们的需求,需要从数据存储层直接查询。

即席查询一般是通过SQL完成,最大的难度在于响应速度上,使用Hive有点慢,目前我的解决方案是SparkSQL,它的响应速度较Hive快很多,而且能很好的与Hive兼容。

当然,你也可以使用Impala,如果不在乎平台中再多一个框架的话。

OLAP

目前,很多的OLAP工具不能很好的支持从HDFS上直接获取数据,都是通过将需要的数据同步到关系型数据库中做OLAP,但如果数据量巨大的话,关系型数据库显然不行;

这时候,需要做相应的开发,从HDFS或者HBase中获取数据,完成OLAP的功能;

比如:根据用户在界面上选择的不定的维度和指标,通过开发接口,从HBase中获取数据来展示。

其它数据接口

这种接口有通用的,有定制的。比如:一个从Redis中获取用户属性的接口是通用的,所有的业务都可以调用这个接口来获取用户属性。

实时计算现在业务对数据仓库实时性的需求越来越多,比如:实时的了解网站的整体流量;实时的获取一个广告的曝光和点击;在海量数据下,依靠传统数据库和传统实现方法基本完成不了,需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架;Storm在这块是比较成熟了,但我选择Spark Streaming,原因很简单,不想多引入一个框架到平台中,另外,Spark Streaming比Storm延时性高那么一点点,那对于我们的需要可以忽略。

我们目前使用Spark Streaming实现了实时的网站流量统计、实时的广告效果统计两块功能。

做法也很简单,由Flume在前端日志服务器上收集网站日志和广告日志,实时的发送给Spark Streaming,由Spark Streaming完成统计,将数据存储至Redis,业务通过访问Redis实时获取。

任务调度与监控在数据仓库/数据平台中,有各种各样非常多的程序和任务,比如:数据采集任务、数据同步任务、数据分析任务等;

这些任务除了定时调度,还存在非常复杂的任务依赖关系,比如:数据分析任务必须等相应的数据采集任务完成后才能开始;数据同步任务需要等数据分析任务完成后才能开始; 这就需要一个非常完善的任务调度与监控系统,它作为数据仓库/数据平台的中枢,负责调度和监控所有任务的分配与运行。

前面有写过文章,《大数据平台中的任务调度与监控》,这里不再累赘。

总结在我看来架构并不是技术越多越新越好,而是在可以满足需求的情况下,越简单越稳定越好。目前在我们的数据平台中,开发更多的是关注业务,而不是技术,他们把业务和需求搞清楚了,基本上只需要做简单的SQL开发,然后配置到调度系统就可以了,如果任务异常,会收到告警。这样,可以使更多的资源专注于业务之上。

八、数据仓库之父是谁?

比尔·恩门(Bill Inmon),被称为数据仓库之父,最早的数据仓库概念提出者,在数据库技术管理与数据库设计方面,拥有逾35年的经验。他是“企业信息工厂”的合作创始人与“政府信息工厂”的创始人。

九、hive数据仓库包括哪些?

包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。解释器、编译器、优化器、执行器解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。

十、动态数据仓库的内涵?

含义数据仓库是一个面向主题的,集成的,不可更新的,随时间不断变化的数据集合,他可以支持企业或组织的决策分析处理。

区别:1.数据库只存放在当前值,数据仓库存放历史值;

2.数据库内数据是动态变化的,只要有业务发生,数据就会被更新,而数据仓库则是静态的历史数据,只能定期添加、刷新;

3.数据库中的数据结构比较复杂,有各种结构以适合业务处理系统的需要,而数据仓库中的数据结构则相对简单;

4.数据库中数据访问频率较高,但访问量较少,而数据仓库的访问频率低但访问量却很高;

5.数据库中数据的目标是面向业务处理人员的,为业务处理人员提供信息处理的支持,而数据仓库则是面向高层管理人员的,为其提供决策支持;

6.数据库在访问数据时要求响应速度快,其响应时间一般在几秒内,而数据仓库的响应时间则可长达数几小时

相关资讯
热门频道

Copyright © 2024 招聘街 滇ICP备2024020316号-38