Flume：一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统，主要针对于日志数据的收集和推送到数据仓库，类似的还有ELK体系的Logstash组件。Kafka：一个分布式流处理平台，用于构造实时流数据管道，它可以在系统或应用之间可靠地获取数据，具有高性能、持久化、多副本备份、横向扩展能力，主要针对于流式数据的接入三、数据存储说到数据存储，大数据的发展历史离不开一个叫Hadoop的家族产品，可以很直接的这么说，没有Hadoop就没有大数据，国内很多大数据公司一开始建立的数据存储数仓都是基于Hadoop体系建立的，那么Hadoop到底是什么呢？Hadoop是一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
简单的理解就是，可以利用大量便宜低端硬件配置的服务器，组建成一个跨服务器的存储集群，数据可以保存在多个服务器上，实现大数据量的存储和降低硬件成本。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。说到数据存储，不得不说一下数据仓库的架构，不同于传统的业务系统使用的关系型数据库，Hadoop一个分布式文件系统，存储方式是按照文件的存储方式，所以就有了数据仓库架构的说法。
数据仓库的架构主要有星型和雪花型两种方式：星型：一种使用关系数据库实现多维分析空间的模式，称为星型模式。星型模式的基本形式必须实现多维空间（常常被称为方块），以使用关系数据库的基本功能。雪花型：当星型模式的维度需要进行规范化时，星型模式就演进为雪花模式。大数据的数据仓库架构主要采用雪花型架构，因为数据源的多样化，导致数据结构也是多样化的。
不同于关系型数据库，都是基于二维表的形式，而大数据的数据有文本数据，日志数据，设备数据，爬虫数据，业务数据等，所以从接入数据到数仓还需要经过ETL（抽取-extract、转换-transform、加载-load）清洗的过程才能落地到数据仓库。一般数据仓库架构可以分为五层：ODS层：ODS层主要是保存和来源数据一致的格式DIM层：DIM层主要用来存储一些基础的维度表，很少会改动MID层：MID层主要是用来处理根据业务逻辑和指标口径筛选出来的数据DW层：DW层根据主题分类，将数据按照不同的主题建立数据表存储和进行维度化DM层：DM层主要是面向应用层的建模，例如一张分析报表需要展示不同维度和指标的分析，那么根据这些维度和指标从DW层的不同主题分类中的数据关联出来，形成一张数据表给报表使用。
四、数据应用在数据清洗完落地数据仓库之后，就是怎么去利用这些数据去变现业务价值。不同行业有不同行业的用法，在这里小编以自身经历说一下，小编所在的大数据部门主要是针对金融行业进行数据分析的，那么大概的应用场景有以下几种：数据分析报表：基于业务需求开发的固定维度和指标的分析报表移动端数据可视化：基于手机端App展示的数据图形可视化应用数据分析周报，月报：按周或着按月进行数据汇总分析和预测，常用于邮件推送，公众号推送大屏可视化驾驶舱：基于大屏端数据图形可视化，数据高度汇总，大而全机器学习风控模型：基于机器学习算法训练出统一规则的模型，用于贷前，贷中或者贷后风控评审关卡。
java语言在这里就不在过多的描述java的作用了，我们来聊聊java语言在大数据中可以做什么？从上文大数据架构来看，java语言主要可以应用于开发数据应用和大数据工具，例如java web开发数据分析报表，移动可视化分析，大屏可视化驾驶舱等，也可以用于开发一些数据处理过程中用于自动化和便捷开发的工具，例如调度系统：用于数据清洗作业的自动化依赖调度；补录系统：用于数据缺失值的可视化补录表，便于数据治理的自动化；发布平台：用于调度作业一键从不同环境之间部署和数据同步审批等。
云计算和大数据哪个发展前景好？
1、云计算是通过互联网提供全球用户计算力、存储服务，为互联网信息处理提供硬件基础。2、大数据运用日趋成熟的云计算技术从浩瀚的互联网信息海洋中获得有价值的信息进行信息归纳、检索、整合，为互联网信息处理提供软件基础。3、他们的关系：云计算是基础，没有云计算，无法实现大数据存储与计算大数据是应用，没有大数据，云计算就缺少了目标与价值4、两者都需要人工智能的参与，人工智能是互联网信息系统有序化后的一种商业应用。
文章TAG：五行 互联网 数据
