读读小说网概念产生标志:以 概念产生标志:以Prism Solutions公司副总裁 Solutions公司副总裁on在1990年出版的《 W.H.Inmon在1990年出版的《建立数据仓库 (Building the Data Warehouse)》。 Warehouse)》 数据仓库 —— 面向主题的、集成的、稳定的、 不同时间的数据集合,用以支持经营管理中的 决策制定过程。 目的:解决在信息技术(IT) 目的:解决在信息技术(IT) 发展中存在的拥有大 量数据、然而有用信息贫乏(Data rich量数据、然而有用信息贫乏(Data richInformation poor)的问题。 poor)的问题。
是数据抽取(Extract)、转换( 是数据抽取(Extract)、转换( Transform)、清洗(Cleansing) Transform)、清洗(Cleansing) 、装载(Load)的过程。是构建数据 、装载(Load)的过程。是构建数据 仓库的重要一环,用户从数据源抽取出 所需的数据,经过数据清洗, 所需的数据,经过数据清洗,最终按照预 先定义好的数据仓库模型,将数据加载 到数据仓库中去。
面向应用 涉及数据库技术 运用了统计分析、人工智能多种技术 特征和规律描述 预测和验证功能
ODS全称为Operational ODS全称为Operational Data Store,即 Store,即 操作型数据存储,是“ 操作型数据存储,是“面向主题的、集成的、 可变的、反映当前数据值的和详细的数据的集 合,用来满足企业综合的、集成的以及操作型 的处理需求”(Bill.Inmon) ODS是数据仓库 的处理需求”(Bill.Inmon)。ODS是数据仓库 体系结构中的一个可选部分,ODS具备数据 体系结构中的一个可选部分,ODS具备数据 仓库的部分特征和OLTP系统的部分特征。 仓库的部分特征和OLTP系统的部分特征。
数据挖掘(Data Mining)是从大量数据中挖掘出 数据挖掘(Data Mining)是从大量数据中挖掘出隐含的、 先前未知的、对决策有潜在价值的知识和规则,为决策、 策划、金融预测等提供依据,使大型数据库作为一个丰富 可靠的资源为知识归纳服务。
(On-Line Analytical Processing)即联机分析处理,是 BI的一 OnProcessing)即联机分析处理,是 BI的一 种全新的数据封装方式,直接产物是报表或Cube,是使分析人员、管 种全新的数据封装方式,直接产物是报表或Cube,是使分析人员、管 理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取, 理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取, 从而获得对数据的更深入了解的一类软件技术。 OLAP展现在用户面前的是一幅幅多维视图。 OLAP展现在用户面前的是一幅幅多维视图。 维(Dimension 维(Dimension):是人们观察数据的特定角度,是考虑问题时的 Dimension):是人们观察数据的特定角度,是考虑问题时的 一类属性,属性集合构成一个维(时间维、地理维等)。 维的层次(Level):人们观察数据的某个特定角度(即某个维)还 维的层次(Level):人们观察数据的某个特定角度(即某个维)还 可以存在细节程度不同的各个描述方面(时间维:日期、月份、季度、 年)。 维的成员(Member):维的一个取值,是数据项在某维中位置的描 维的成员(Member):维的一个取值,是数据项在某维中位置的描 述。(“某年某月某日” 述。(“某年某月某日”是在时间维上位置的描述)。
星期五是各家电视台转播橄榄球赛的时间,于是,超市老板们就 把尿片和啤酒捆绑销售获得了巨大成功。 这个故事成了一个利用数据挖掘商业价值最大化的神话。由此看 来,非常不关联的两样东西,通过海量的信息数据处理,可以挖 掘出它们之间潜在的关联,将这种关联商业化,就会得到意想不 到的新业务或新的商业模式。 到底该怎样把这些占据大量存储空间的数据的价值挖掘出来,让 这些数据从成本的消耗者变成利润的促进者呢?新的数据分析技 术由此诞生了,完成了“数据” 术由此诞生了,完成了“数据”到“数据价值”转换的环节,同时给 数据价值” 这项技术起了一个响亮而又神密的名字“BI”( 这项技术起了一个响亮而又神密的名字“BI”(Business Intelligence) Intelligence)
随着IT技术的进步,传统的业务交易系统有了长足的发展,已经 随着IT技术的进步,传统的业务交易系统有了长足的发展,已经 实现了业务信息化,每一笔业务数据都记录在数据库中,星转斗 移,累积了以TB为计量单位的业务数据记录。也许你会问:这 移,累积了以TB为计量单位的业务数据记录。也许你会问:这 么多数据,占用了很多存储设备,耗费存储成本,却又不经常访 问,留着它有什么用处?可以给你肯定的回答, 问,留着它有什么用处?可以给你肯定的回答,留着这些历史数 据意义巨大,挖掘业务的规律、支持决策。 典型的案例有“尿片和啤酒” 典型的案例有“尿片和啤酒”的故事,尿片和啤酒本来是两样不相 干的东西,可是,有人就发现,星期五在超市里购物的,购买尿 片的年轻父亲中有30%~40%的人同时购买啤酒。原来,星期 片的年轻父亲中有30%~40%的人同时购买啤酒。原来,星期 五年轻的父亲购买尿片时,还会为自己捎带买啤酒,因为,
中国拥有5000年的文化史,灿烂的文件让日常报表 中国拥有5000年的文化史,灿烂的文件让日常报表 也非常具有凝聚力,交错纵横,里外相嵌,格式诡异 、规则古怪、数据集中而闻名于世,让无数报表工具 折腰。BI概念是从欧美引进的,现有的工具也多是欧 折腰。BI概念是从欧美引进的,现有的工具也多是欧 美国家提供,中国是世界上报表最复杂的国家,报表 设计风格与这些国家有明显的差别,BI工具制作的报 设计风格与这些国家有明显的差别,BI工具制作的报 表倾向于仅用一张报表说明一个问题,而中国的报表 倾向于将尽可能多的问题集中在一张报表中,这种思 路直接导致了BI工具应用难度的提升。 路直接导致了BI工具应用难度的提升。
说个场景,一天去街上买烤白薯,和老板那银聊天。 银:“你娃干哈地呀?” 银:“你娃干哈地呀?” 俺:“做软件的。” 俺:“做软件的。” 银:“啥子软件?” 银:“啥子软件?” 俺:“bi” 俺:“bi” 银:“啥东西??” 银:“啥东西??” 俺:“ 俺:“哦,就比如说你天天在街上卖烤白薯,天天有人买,可是你希望 生意能再好一点,我就把你过去两年卖白薯的记录都拿出来,拿俺们的 软件分析分析,就能告诉你,这疙瘩都啥样银喜欢七烤白薯,啥样白薯 受欢迎,多大个的白薯涨点价还能卖得好,预测一下你下礼拜大概还能 卖多少白薯……” 卖多少白薯……” 俺:“……俺们软件大概就是这东西吧” 俺:“……俺们软件大概就是这东西吧” 银:“ ……俺明白了” 银:“哦……俺明白了”
这样不难看出,传统的交易系统完成的是Business到Data的过程, 这样不难看出,传统的交易系统完成的是Business到Data的过程, 而BI要做的事情是在Data的基础上,让Data产生价值,这个产生价值 BI要做的事情是在Data的基础上,让Data产生价值,这个产生价值 的过程就是Business 的过程就是Business Intelligence analyse的过程。 analyse的过程。
度量(Measure):多维数组的取值。(2000年 度量(Measure):多维数组的取值。(2000年1月,上海,笔记 本电脑,0000)。 本电脑,0000)。 OLAP的基本多维分析操作有钻取(Drill-up和Drill-down)、切片 OLAP的基本多维分析操作有钻取(Drill-up和Drill-down)、切片 (Slice)和切块(Dice)、以及旋转(Pivot)等。 Slice)和切块(Dice)、以及旋转(Pivot)等。 钻取:是改变维的层次,变换分析的粒度。它包括向下钻取(Drill钻取:是改变维的层次,变换分析的粒度。它包括向下钻取(Drilldown)和向上钻取(Drill-up) 上卷(Roll-up)。Drill-up是在某一 down)和向上钻取(Drill-up)/上卷(Roll-up)。Drill-up是在某一 维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而 Drill-down则相反,它从汇总数据深入到细节数据进行观察或增加新 Drill-down则相反,它从汇总数据深入到细节数据进行观察或增加新 维。 切片和切块:是在一部分维上选定值后,关心度量数据在剩余维上的 分布。如果剩余的维只有两个,则是切片;如果有三个或以上,则是切 块。 旋转:是变换维的方向,即在表格中重新安排维的放置(例如行列互 换)。
一、BI的定义 BI的定义 BI是Business Intelligence的英文缩写,中文解释为商务智能,用 BI是 Intelligence的英文缩写,中文解释为商务智能,用 来帮助企业更好地利用数据提高决策质量的技术集合,是从大量的数据 中钻取信息与知识的过程。简单讲就是业务、数据、数据价值应用的过 程。用图解的方式可以理解为下图:
|