iT氪,IT人的社区

51dev.com 技术开发者社区

基于SQL on Hadoop的数据仓库技术

基于SQL on Hadoop的数据仓库技术

数据仓库简介 数据仓库是企业的统一的数据管理的方式,将不同的应用中的数据汇聚,然后对这些数据加工和多维度分析,并最终展现给用户。它帮助企业将纷繁浩杂的数据整合加工,并最终转换为关键流程上的KPI,从而为决策/管理等提供最准确的支持,并帮助预测发展趋势。因此,数据仓库是企业IT系统中非常核心的系统。 根据企业构建数据仓库的主要应用场景不同,我们可以将数据仓库分为以下四种类型,每一种类型的数据仓库系统都有不同的技术指标与要求。 传统数据仓库 企业会把数据分成内部数据和外部数据,内部数据通常分为两类,OLTP交易系统以及OLAP分析系统数据,他们会把这些数据全部集中起来,经过...

Hadoop 面试中 6 个常见的问题及答案

Hadoop 面试中 6 个常见的问题及答案

你准备好面试了吗?呀,需要Hadoop的知识!!?不要慌!这里有一些可能会问到的问题以及你应该给出的答案。 Q1.什么是Hadoop? Hadoop是一个开源软件框架,用于存储大量数据,并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之,Hadoop包括以下内容: HDFS(Hadoop Distributed File System,Hadoop分布式文件系统):HDFS允许你以一种分布式和冗余的方式存储大量数据。例如,1 GB(即1024 MB)文本文件可以拆分为16 * 128MB文件,并存储在Hadoop集群中的8个不同节点上。每个分裂可以复...

大数据时代商业银行数字化转型

大数据时代商业银行数字化转型

 大数据时代的来临,催化了互联网金融的发展,随着大数据技术日益广泛应用,对金融生态和金融格局都将产生深刻影响。国家层面对大数据发展给予高度重视,2015年8月,国务院印发《促进大数据发展行动纲要》,明确指出大数据已成为国家基础性战略资源,《大数据产业“十三五”发展规划》已征求了专家意见,有望年内发布。我国商业银行在经历十年的高速增长后正步入转型时期,其整体运营模式正在从“外延式”发展向“精细化”发展转型。未来的商业银行应主动拥抱“大数据”,从数据中获得洞察力,占据价值链核心位置,引领传统模式向数字化...

大数据暗藏“窃密通道” 保密工作者应高度警惕

大数据暗藏“窃密通道” 保密工作者应高度警惕

大数据模糊了涉密与非涉密数据的界限,颠覆了数据垃圾无秘密的传统认识,打破了以客观存在为基础的定密习惯。因此,稍有疏忽便有可能引发泄密事件,保密工作者应高度警惕。   大数据暗藏“窃密通道”   从非涉密数据中发现涉密信息。大数据基本理论告诉人们:“如果将海量的碎片化数据汇聚到一起,积少成多,形成大数据,然后通过数据分析,就可挖掘出隐藏在大数据表象背后的重要价值。”这一理论启示人们:如果将海量多元的非涉密数据通过大数据技术进行关联分析,在碎片化的信息之间建立某种整体联系,就可挖掘出隐藏在非涉密数据背后的重要价值。而这种“价值...