“下一代数据仓库必须是一个融合的智能数据仓库。将这些技术应用到数据仓库本身的技术变革中，可以给很多行业带来变革。数据仓库将建立在云计算的基础上。首先，数据仓库是企业传统的数据管理方案。具有一定规模的企业可以通过建立数据仓库来解决一定的“数据孤岛”问题，可以更加合理地利用企业数据，同时可以通过数据仓库使多个系统互联互通。
为什么建数据仓库需要使用ETL工具？
数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建，既然要获取全部数据，必然涉及到多系统，各类型数据库的对接问题，还有数据抽取、整理的问题。这时候ETL工具的作用就集中体现出来了，数据的抽取、转换、加载直到供人们去分析使用，ETL就是数据抽取、转换、加载的过程，
有些地方可能选择的是ELT，先加载在转换。对数仓来说，ETL首先要考虑业务需求，最后数据落地模型，要体现某种主题，然后从数据源考虑哪些字段是可以用的，在进行ETL。现在ETL工具很多，所以编程能力很难在这方面体现出来，对于公司来说，更看重的是ETL的思路，通俗的想，数据仓库就像大水池，给水池蓄水需要泵和水管，那ETL就是承担泵和水管的功能。
3.1.1Lambda架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.2Kappa架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.3实时olap变体架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.4常见架构对比来自ApacheFlink中文学习网站ververica.cn侵权告知立删ps:lambda架构开发割裂感：•表结构不同•sql语法不同资源浪费：•重复计算•重复存储集群维护：•组件不同•计算引擎不同数据一致性3.2实时数仓架构3.2.1方案一优点：￮便于数据回溯、重算和数据质量验证，
缺点：￮通过批处理重算，需要维护两套代码，开发和维护成本高。￮需要两套计算资源适用场景：￮超大规模历史数据计算，且这种场景比较频繁，￮对数据质量要求极高，需要比对实时和离线的计算结果，甚至利用离线去修正实时的计算结果。3.2.2方案二优点：￮无需维护两套代码，开发迭代速度快，￮数据回溯和重算方便，重算时间根据需求回溯的时间范围定。
￮只需流计算资源，资源占用小缺点：￮ODS\\DWD部分数据“不可见”，原始数据和中间数据不便于查询（解决方案：可通过重新消费指定时间范围的数据查询，或导入需要的数据到olap引擎）￮依赖业务端反馈问题（解决方案：设计数据质量监控指标，实时监控报警）适用场景：ODS\\DWD查询不频繁等3.2.3方案三相对于方案二：￮增加ODS层落地hive，排查分析原始数据比较方便，恢复历史数据的时候可获取hive数据写入kafka，然后按原流处理的逻辑重新处理即可，只需修改数据源为历史数据对应的topic，
数据仓库和数据库有什么区别？
7月5日，Kyligence融资暨新产品发布会在上海举行。Kyligence团队宣布正式发布下一代企业级数据仓库产品与解决方案KyligenceEnterprisev3.0，及云端一站式大数据分析解决方案KyligenceCloudv2.0，新版解决方案革命性地实现了自动建模功能，并将在查询提速15倍的同时节省50%存储空间。
“在KyligenceEnterprisev3.0的帮助下，客户以前要花半年或一年的数据分析周期可以缩减到一两个月甚至更短。使用传统的国外数据仓库，每年需要上亿的投入。使用Kyligence产品后，投入减少到几百万，人力方面，从40多人减少到6人左右。”Kyligence联合创始人兼CEO韩庆在接受投资界(ID: pedaily)采访时介绍
文章TAG：为什么要建数据仓库 仓库 要建 数据 实时
