第3章 · 播客 第11集

数据库系统 · DDBMS 组成与数据仓库四大特性

🎙️ 本集播客第11集:DDBMS 四成分与三种全局控制架构、同种化的转换次数公式,数据仓库 Inmon 定义四大特性逐项展开,数据仓库结构四部件,OLAP 服务器的 ROLAP、MOLAP、HOLAP 三分法,自顶向下、自底向上、联合三种实现方法。 语音由微软 Edge 神经网络语音预生成(女声·晓伊,男声·云希)。点击下方任意对话可直接从该句开始播,当前句朗读时下一句已预先加载,无缝衔接。
🎙️ 第3章播客 第11集
⬇ 下载本集 点击播放
阿明
小雅姐,DDBMS 由哪几部分组成?
小雅
四个成分。LDBMS 局部数据库管理系统:建立和管理局部数据库,提供场地自治能力、执行局部应用及全局查询的子查询。GDBMS 全局数据库管理系统:提供分布透明性,协调全局事务的执行,协调各局部 DBMS 以完成全局应用,保证数据库的全局一致性,执行并发控制,实现更新同步,提供全局恢复功能。全局数据字典:存放全局概念模式、分片模式、分布模式的定义及各模式之间映像的定义,存放有关用户存取权限的定义和数据完整性约束条件的定义。CM 通信管理:在分布数据库各场地之间传送消息和数据,完成通信功能。四个名字带职责,选项会打乱配对。
阿明
全局控制的架构有几种?
小雅
三种。第一种全局控制集中的 DDBMS:全局控制成分 GDBMS 集中在某一结点上,全局数据字典只有一个也存放在该结点上。优点是控制简单,易实现更新一致性;但由于控制集中在某一特定的结点上,不仅容易形成瓶颈而且系统较脆弱,一旦该结点出故障,整个系统就会瘫痪。
小雅
第二种全局控制分散的 DDBMS:GDBMS 分散在网络的每一个结点上,全局数据字典也在每个结点上有一份,每个结点既是全局事务的参与者又是协调者,一般称这类结构为完全分布的 DDBMS。优点是结点独立、自治性强,单个结点退出或进入系统均不会影响整个系统的运行,但全局控制的协调机制和一致性的维护都比较复杂。第三种全局控制部分分散的 DDBMS:根据应用的需要将 GDBMS 和全局数据字典分散在某些结点上,是介于前两种情况之间的架构。
阿明
「集中的瘫痪风险、分散的协调复杂」,对仗着记。同构异构那块还有什么数字或细则?
小雅
有同种化的转换次数公式。异构型 DDBMS 的关键问题是解决异构数据库模型的同种化,就是寻找合适的公共数据模型,采用公共数据模型与异构数据模型局部之间的转换,不采用各结点之间的一对一转换。原文算了笔账:设有 N 个结点,用公共数据模型时转换次数为 2N,而各结点之间一对一转换则需 N 乘 N 减 1 次。比如 4 个结点,公共模型只要 8 次,一对一要 12 次。另外同构和异构的级别可以有三级:硬件、操作系统和局部 DBMS,其中最主要的是局部 DBMS 这一级,因为硬件和操作系统的不同将由通信软件处理和管理。
阿明
设计方法的选择上,自顶向下还是异构也有讲究?
小雅
原文:若是用自顶向下的方法进行,即并不存在已运行的局部数据库,则采用同构型的结构比较方便;若是采用自底向上设计 DDBMS 的方法,即现已存在的局部数据库,而这些数据库可能采用不同的数据模型,或者虽然模型相同但它们是不同厂商的 DBMS,如 Informix、Sybase、Db2、Oracle,这就必须开发异构型的 DDBMS。
阿明
两种方法两种命运,考「已有异构局部库选哪种」就答自底向上、异构型。接下来数据仓库,四大特性我总背不齐。
小雅
先把定义和人名背死:著名的数据仓库专家 W.H.Inmon 在《Building the Data Warehouse》一书中将数据仓库定义为:数据仓库是一个面向主题的、集成的、相对稳定的、且随时间变化的数据集合,用于支持管理决策。四大特性就是定语那四个,逐个展开。
小雅
面向主题:操作型数据库的数据组织面向事务处理任务也就是面向应用,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织的。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。原文例子:一个保险公司所进行的事务处理可能包括汽车保险、人寿保险、健康保险和意外保险等,而公司的主要主题范围可能是顾客、保险单、保险费和索赔等。前者按业务线分,后者按决策关心的对象分。
小雅
集成的:在数据仓库的所有特性中,这是最重要的。面向事务处理的操作型数据库通常与某些特定的应用相关,数据库之间相互独立,并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性。注意那句定性——集成是所有特性中最重要的,判断题会拿它考。
小雅
相对稳定的:操作型数据库中的数据通常实时更新,数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期地加载、刷新。
小雅
随时间变化:操作型数据库主要关心当前某一个时间段内的数据,而数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点到目前的各个阶段的信息。具体三条表现:第一,数据仓库中的数据时间期限要远远长于传统操作型数据系统,传统操作型可能为数十天或数个月,数据仓库往往为数年甚至几十年;第二,传统操作型含有当前值的数据,数据仓库中的数据仅仅是一系列某一时刻生成的复杂的快照;第三,传统操作型可能包含也可能不包含时间元素,而数据仓库中一定会包含时间元素。
阿明
「相对稳定」这条是不是还有个通俗说法?
小雅
有:数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期地加载、刷新。判断题问「数据仓库中的数据经常被修改删除」,答否。
阿明
数据仓库和数据库还有个总体区别表吧?
小雅
有两条文字版:从数据存储的内容看,数据库只存放当前值,而数据仓库则存放历史值;数据库数据的目标是面向业务操作人员的,为业务处理人员提供数据处理的支持,而数据仓库则是面向中高层管理人员的,为其提供决策支持。「当前值对历史值」「业务操作人员对中高层管理人员」两组对照。
阿明
数据仓库的结构,从数据源到前端那几个部件?
小雅
一般来说,数据仓库系统要包含数据源、数据准备区、数据仓库数据库、数据集市和知识挖掘库及各种管理工具和应用工具。流程是:数据仓库建立之后,首先要从数据源中抽取相关的数据到数据准备区,在数据准备区中经过净化处理后再加载到数据仓库数据库,最后根据用户的需求将数据导入数据集市和知识挖掘库中。用户使用时利用包括 OLAP 联机分析处理在内的多种数据仓库应用工具进行决策查询分析或知识挖掘。注意顺序:抽取、净化、加载、导入,四步流水。
阿明
大众观点的架构那四个部件,OLAP 三种实现必考吧?三种服务器名字我就记不牢。
小雅
对。架构四部件:数据源,是数据仓库系统的基础,是整个系统的数据源泉,通常包括企业内部信息和外部信息;数据的存储与管理,是整个数据仓库系统的核心,数据仓库的真正关键是数据的存储和管理;OLAP 服务器,对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析;前端工具,主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具及各种应用开发工具,其中数据分析工具主要针对 OLAP 服务器,报表工具、数据挖掘工具主要针对数据仓库。
小雅
OLAP 的三种实现是高频考点,原文一字一句:ROLAP 基本数据和聚合数据均存放在 RDBMS 之中;MOLAP 基本数据和聚合数据均存放于多维数据库中;HOLAP 基本数据存放于 RDBMS 之中,聚合数据存放于多维数据库中。ROLAP 全放关系库、MOLAP 全放多维库、HOLAP 一半一半——基本数据永远跟着 R 开头的走不了,HOLAP 就是折中。
阿明
参考框架那三层也考过?
小雅
数据仓库的参考框架由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。基本功能层包含数据源、数据准备区、数据仓库结构、数据集市或知识挖掘库以及存取和使用部分;管理层由数据仓库的数据管理和数据仓库的元数据管理组成;环境支持层由数据仓库数据传输层和数据仓库基础层组成。三层名字加各自组成,出题就出指认。
阿明
数据集市和数据仓库的覆盖范围那句也要记?
小雅
要:数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库,部门级的通常称为数据集市。所以数据集市就是部门级的数据仓库,选项里把数据集市说成企业级就是错的。
阿明
实现方法那三种怎么选?
小雅
自顶向下法:首先应找出数据仓库解决方案所要满足的商业需求,把商业需求视为实现数据仓库的首要任务。一般用于企业比较熟悉技术、决策层完全清楚数据仓库的预测目标、决策支持工具和商业过程中的子过程这些情况。自底向上法:一般从实验和基于技术的原形入手,先选择一个特定的、众所周知的商业问题的子集再为该子集制订方案,实现一般比较快,是快速实现数据集市、部门级数据仓库的有效手段,适用于企业还没有确实掌握数据仓库技术、希望了解费用情况、进行投资选择的情况。联合方法:在保持自底向上方法的快速实现和机遇应用的同时,利用自顶向下方法的规划和决策性质,具有两种方法的优点但难以作为一个项目来管理。
小雅
数据仓库实现过程本身的环节也有一串:需求分析、概念模型设计、逻辑模型设计、物理模型设计和数据仓库生成。注意这是数据仓库自己的设计流程,和上一集数据库设计的四阶段不是一回事,别串。
小雅
本集必背:DDBMS 四成分是 LDBMS、GDBMS、全局数据字典、CM 通信管理;全局控制三架构——集中式控制简单但瓶颈脆弱易瘫痪、分散式又称完全分布自治性强但协调复杂、部分分散是折中;同种化找公共数据模型,N 结点公共模型转换 2N 次、一对一 N 乘 N 减 1 次;同构异构三级中最主要的是局部 DBMS 级;数据仓库 Inmon 定义四大特性面向主题、集成、相对稳定、随时间变化,集成最重要,查询多改删少,一定含时间元素;
小雅
结构流程抽取净化加载导入;架构四部件数据源、存储与管理是核心、OLAP 服务器、前端工具;ROLAP 全在 RDBMS、MOLAP 全在多维库、HOLAP 基本数据在 RDBMS 聚合数据在多维库;参考框架三层基本功能层、管理层、环境支持层;实现方法自顶向下从商业需求入手、自底向上从原型和数据集市入手、联合方法兼具两优但难管理。
阿明
四种特性带 Inmon 出处,这回齐了。下一集?
小雅
数据挖掘的五类功能、六种常用技术、六步流程,再加 NoSQL 的四大优点和大数据的 4 个 V,最后全章收束——第 3 章的最后一集,把必背清单给你拉通。