当前位置:首页 > 公众号精选 > 架构师社区
[导读]数据仓库的起源可以追溯到计算机的发展初期,并且数据仓库是信息技术长期发展的产物,在以后也会一直发展。

数据仓库的起源可以追溯到计算机的发展初期,并且数据仓库是信息技术长期发展的产物,在以后也会一直发展。

一、文件系统

20世纪60年代初期,计算机领域的主要工作是创建运行在主文件上的单个应用。这些应用是以报表处理和程序为特征的,一般是以某种早期的程序设计语言如Fortran或COBOL编写的。主文件存储在廉价的磁带上面,其缺点是只能顺序访问。比如我们想得到磁带上第20分钟处的数据,那时必须顺序访问完前面的19分钟。磁带在提供廉价存储的同时,也带来了数据的大量冗余。20世纪60年代中期,大量的主文件带来了诸多问题,如:

  • 更新数据时需要保持数据的一致性。
  • 程序维护的复杂性。
  • 开发新程序的复杂性。
  • 支持所有主文件需要增加大量的硬件。2 0世纪60年代 - General Mills Dartmouth College 在一个联合研究项目中,制定了术语维度(dimensio ns)和事实(facts)。

二、DASD和DBMS的出现

到了1970年,出现了一种新的存储和访问技术,也就是磁盘存储器,或者称之为直接存取存储设备(Direct Access Storage Device,DASD)。磁盘存储与磁带存储的根本不同在于磁盘上的数据能够直接访问。DASD要访问第n+1条记录,不再需要顺序访问第1、2、3......n条记录,而是一旦知道了第n+1条记录的地址,就可以直接访问它。

随着DASD的发展,出现了一种称为数据库管理系统(Database Management System,DBMS)的新型系统软件。这种新型软件目的是使程序员可以方便的在DASD上面进行存储和访问。伴随着DBMS,出现了“数据库”的概念。

1975年 - Sperry Univac推出MAPPER(MAintain,Prepare,Produce Executive Reports),这是一个数据库管理和报告系统,其中包括世界上第一个第一个专为建设信息中心而设计的平台4GL(当代数据仓库技术的先驱)

三、数据仓库之父的出现

到了20世纪80年代,涌现了一些更为新颖的技术,比如个人计算机(PC)和第四代编程语言(Fourth-Generation Language,4GL)。随着PC和4GL的发展,除了高性能的在线事务处理之外,人们可以利用数据做更多的事情,比如早期的管理信息系统(Management InformationSystem,MIS),如今这种技术成为DSS。


1990年 - 由Ralph Kimball创立的Red Brick Systems推出了Red Brick Warehouse,这是一个专门用于数据仓库的数据库管理系统。

四、多个单独数据库

随着大型在线事务处理系统问世不久,出现了数据抽取技术,可以实现把想要的数据从在线事务处理系统中分离出来,这样就可以解决数据分析性能方面的问题;抽取出来的数据,给人们在使用数据方面带来了极大的灵活性,我们可以使用这些数据做各种分析。

起初,只是对在线事务处理系统中的数据进行抽取。慢慢的人们发现在抽取结果中,加上一些条件限制可以更方便的得到想要的数据。但此时的“数据仓库”是多个单独的数据库,在使用过程中慢慢出现了如下问题:

  • 数据时间不统一
  • 抽取程序的差异
  • 外部数据加载问题
  • 无公共起始数据源

以上问题就会有可能导致,不同部门抽取数据的差异,从而到时分析结果的不同。

五、数据仓库

当人们意识到无休止的抽取带来诸多问题后,开始思考是否可以建立成体系的机构化环境,以减少数据的差异,这也就是数据仓库出现的原因。数据仓库从操作型数据库中抽取数据,通过规范的加工过程,得到粒度化数据,并且这些数据时面向主题、集成、不易失、随时间变化的数据。在数据仓库的基础上,可以建立不同分析角度的BI报表系统。

随着大数据的出现,阿里大数据技术人的宣传,加上出版的一些书籍(大数据之路)对此数据仓库的传播都有着巨大的推动。


免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

华为云大数据BI是基于华为弹性云服务器ECS和华为云数据仓库 GaussDB DWS 搭配帆软(FineReport/FineBI)为企业提供的一站式数据分析平台。它有着从数据采集,数据处理,数据分析到数据可视化展现的一...

关键字: 大数据 数据仓库 移动云安全

摘要:随着大数据智能时代的到来,用数据创新、数据决策已逐渐成为科研创新和管理决策的新常态、新模式。葡萄种植的各个环节产生了大量的数据,如何处理并有效利用这些海量数据成为当前企业发展过程中面临的一大难题。现基于传统的数据仓...

关键字: 葡萄种植 Hadoop 数据仓库

近日,中共中央宣传部、国家税务总局向全社会公开发布了“最美税务人”先进事迹,其中国家税务总局武汉市税务局税务干部张学东正是这10名“最美税务人”之一。

关键字: 大数据 物联网 数据仓库

通过图文的方式来讲解 Linux 文件系统的原理,而不用陷入源代码的深渊之中。...

关键字: Linux 文件系统 原理

本文主要讲解文件系统挂载核心逻辑,暂不涉及挂载命名空间和绑定挂载等内容(后面的内容可能会涉及),且以ext2磁盘文件系统为例讲解挂载。

关键字: Linux 文件系统 文件系统挂载

所有的应用程序都需要存储和检索信息。进程运行时,它能够在自己的存储空间内存储一定量的信息。然而,存储容量受虚拟地址空间大小的限制。

关键字: 文件系统 磁盘 共享文件

上一篇我们已经在QSPI FLASH上支持了fatfs文件系统:这次我们继续在该代码上支持SD卡文件系统,ST官方在维护CubeMX上对多个硬件驱动的fatfs兼容性做得非常好,所以还是用STM32CubeMX来配置就可...

关键字: fatfs 文件系统 Flash

使用SD卡将文件拷贝到QSPI FLASH(采用fatfs文件系统)

关键字: Flash W25Q64 文件系统 Fatfs

Linux一个重要的哲学是:一切皆文件。而文件与文件系统是密切相关的,本篇笔记我们来一起学习、理清那些令我们眼花缭乱的文件系统。

关键字: Linux 文件系统 文件
关闭
关闭