挑宝网编辑导语：上期讲到了随着大数据时代的到来，医疗信息化建设迫切的需求与医疗大数据的溯源过程，还深入的提出了在脏乱差的医疗大数据中怎么发现价值；接下来我们再进一步探讨一下数据的价值与特征。

　　多平台，多种接口，数据类型没有一个标准，只能是点对点的对接大量数据，内容冗杂，过程繁复，速度缓慢。

　　就诊信息分布在不同的平台上，不能够形成以患者为中心的所有电子化就诊信息集成，不能提供完整、全面、准确、及时的患者临床信息。

　　在大数据背景下，行业应用的数据量通常都以亿级别计算，存储通常在TB/PB级别甚至更多。

　　例如：从信息科流通到临床医务人员，从医院流通到卫生管理部分，从省内医院流通到省外医院。

　　建立数仓产品需依据卫生部统计信息中心2011年发布的《基于电子病历的医院信息平台建设技术解决方案》建立标准化医院数据资产目录。

　　数仓需以医院基础业务活动为索引，提供HIS、LIS、EMR等多数据源业务表字段绑定规则；实现零代码绑架，业务人员即可通过页面配置绑定规则。

　　数仓将根据配置自动生成调度任务，并通过Hadoop生态圈sqoop技术实现对业务系统的数据抽取；提供全量数据抽取与增量数据抽取两种方式，抽取过程实现透明、可追溯。

　　实现以患者为中心的医疗信息采集、清洗、存储、加载和决策辅助。保障原始数据来源追溯、主数据标准唯一、数据应用及时高效。

　　实现基于数据中心的全量数据，构建应用主题库，为医院临床辅助、精细化运营管理、科研管理提供强有力的数据支撑。

　　院内分散、异构数据依据颐东数仓资产目录表字段规则映射，并通过ETL工具实现历史数据、实时数据抽取转换。业务系统或集成平台之间进行数据字典与码表的映射转换，解决系统之间的数据一致性问题。新旧系统切换或系统升级，历史数据在新编码体系和分类体系下的转换和对接。

　　用户可以根据需求上传需要比对的数据及相应标准，通过软件对数据进行一致性和准确性稽核。

　　数据治理是治理多元异构的数据，治理数据资产，突出医疗价值，确保数据质量控制数据治理的过程要确保数据的完整性（事件、表单、记录、表项），一致性（主数据一致性、逻辑一致性），唯一性（无二义冗余、指标及计算口径），及时性，原始性，可溯源性及可测量性。

　　根据临床科室构建应用主题库，为医院临床辅助、精细化运营管理、科研管理提供强有力的数据支撑。

　　解决针对卫计委统计信息中心以《江苏省健康信息平台共享数据集》为基准上传的数据的数据稽核与表结构转换。

　　Hadoop生态系统中集成了大量的工具和组件来满足不同计算和存储需求，比如HDFS分布式文件系统、HBase列式数据库、Hive数据仓库、Kafka服务编排、MapReduce服务调度、impala类SQL数据仓库等，可以方便地进行数据存储和分析计算。

　　CDC又称变更数据捕获（Change Data Capture），开启cdc的源表在插入INSERT、更新UPDATE和删除DELETE活动时会插入数据到日志表中；CDC通过捕获进程将变更数据捕获到变更表中，通过cdc提供的查询函数，我们可以捕获这部分数据。

　　ETL数据仓库技术（Extract-Transform-Load），它是将数据从源系统加载到数据仓库的过程。用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。使用到的工具包含（kettle、flume、sqoop）。

　　Kettle基于JAVA的ETL工具，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现。

　　Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

　　Sqoop是Apache开源软件，主要用于在HADOOP（Hive）与传统的数据库（mysql、postgresql…）间进行数据的传递；适用于能与大数据集群直接通信的关系数据库间的大批量数据传输。