大数据主要涉及的内容有哪些？可以从事哪些岗位？
记得大学毕业的第一份工作，我们公司的业务就是做BI产品研发。哪时候互联网没有今天这样火热，也没有大数据、移动互联网的概念。记得有一次和同事去华师后门买书，同事买了一本javascript,我买了一个ajax。那时候，我们产品的客户端是用Delphi开发的，其实买书就是为了补充一点新知识，工作中基本用不到。
在公司的第三年，公司要转做web的BI展示界面，我帮公司用svg做了两个展示组件，心里还是美滋滋的。随着时间的推移、电商的发展，大数据、云计算似乎成了每个互联网公司对外宣传的标准说法。如果不讲点这些概念，似乎给人感觉缺少些逼格。记得10年在公司的一次培训上，有个同事问，云计算是不是你搞出来的，就因为我姓云。
听到这个问题，我哭笑皆非。大数据这个概念喊了这么多年了，很多人还是不清楚大数据指的是什么？为了回答好这个问题，我还去专门搜索了大数据的概念。老实说百科的解释，连我从事了这么多年互联网的人，也没看懂。“大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
”什么是大数据？大数据说的直白点，就是运用一套技术手段，把数据变成信息和知识的过程。数据对我们来说是没有价值的东西，我们要把数据加工成信息或者知识，才能被人类理解。举个例子：公司一天的考勤数据是意义不大的东西，但是我们通过一月考勤数据的分析和比较，我们发现张三这个员工老是迟到。那么，张三老是迟到这个信息就对公司的管理有帮助了，领导需要去了解下，是不是张三家有什么事？或者张三最近出现别的状况？大数据的“大”又如何理解呢？所谓“大”，一层含义指数据的体量大，在数据库时代数据以GB为单位，但在互联网时代以TB为单位，数据的体量升了一个数量级。
另一层含义指数据形式的多样化。在传统BI应用中，数据大多是存储在关系型数据库中，但在互联网时代，数据的形式变得多样化了，例如:文本、视频及数据库。明白了大数据的概念，我们下来看，大数据包含哪些内容。大数据的内涵大数据从技术的角度去看，包含两大分支：数据分析和数据挖掘。数据分析是对历史数据的分析，为管理提供辅助决策信息。
数据挖掘是研究趋势和未来的问题，主要应用在预测方面。从业务的时效性要求去看，分为：实时在线分析系统和离线分析系统。例如:网站的实时用户区域分佈狀況就是实时分析應用；2019年全國各省GDP排名分析就是離綫分析應用。从大数据项目的过程看，大数据包含：数据采集、数据收集、数据转化与存储、数据建模分析、上层应用展示等。
大数据的难点，在于海量数据的分析，这又涉及到海量数据存储及分析架构等问题。按照Hadoop的技术体系来讲，flume用来收集和转化存储在服务器各处的日志及数据，存储在以hdfs文件系统或者hive或者hbase等数据仓库中，再利用hadoop架构的规范，编写mapreduce作业，再把分析结果展示给用户。
当然，这里面设计到数据分析的各种算法。大数据相关的工作岗位下面介绍下，大数据相关的核心岗位：业务专家或者顾问：为大数据提供研发方向和确定研究主题，并为技术人员提供业务支持。数据分析师：从事数据收集、整理、分析并依据数据做出评估和预测的专业人员。数据挖掘工程师：从海量数据中发现规律，需要较好的算法和数学基础。
可视化工程师：提供美观、便于人们理解的分析的结果展示界面。维护工程师：负责服务器环境的配置、搭建和运维。每个公司采用的大数据技术线路不同，工作岗位会有所差距。感兴趣的朋友，可以自己去了解下，现有的几种大数据方案。随着5G网络的建设，接入网络的iot设备会越来越多，互联网所积累的数据，还会成级数增加。在未来几年，大数据行业依然是朝阳行业，需要的大数据人才会越来越多，希望本文对有意愿加入大数据行业的朋友，有所启发和帮助，也希望大家能对大数据的概念，有更清晰的认识。
怎样成为优秀的大数据工程师？需要具备哪些技术？
大数据工程师有不少细分方向，不同的方向需要具备不同的知识结构，通常情况下大数据工程师分为四个具体的工作领域，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维，其中大数据平台研发工程师的数量占比较少，属于大数据领域的高端人才，往往从业者在研究生期间主攻的方向就是大数据平台研发。大数据应用开发工程师是大数据领域一个比较热门的岗位，由于目前大数据正在处在落地应用的阶段，所以有大量的传统应用需要进行大数据改造，因此大数据应用开发岗位有较多的人才需求。
这个岗位需要掌握的知识结构包括大数据平台体系结构，比如目前常见的Hadoop、Spark平台，以及众多组件的功能和应用，另外还需要掌握至少一门编程语言，比如Java、Python、Scala等，这些编程语言是可以开发落地应用的。大数据分析工程师是大数据领域非常重要的岗位，因为大数据的核心之一是数据价值化，而数据价值化的核心则在于数据的分析和应用，所以数据分析是大数据应用的一个重点所在。
大数据分析工程师需要掌握的知识结构包括算法设计、编程语言以及呈现工具，算法设计是大数据分析师需要掌握的重点内容，而编程语言的作用则是完成算法的实现。另外，大数据分析师还需要掌握一些常见的分析工具，比如一些常见的BI工具，在一些比较简单的场景下BI工具能完成大量的工作，并生成呈现界面。看一个使用Python中scipy库的应用：大数据运维工程师的主要工作内容是搭建大数据平台、部署大数据功能组件、配置网络环境和硬件环境、维护大数据平台，大数据运维工程师需要具备的知识结构包括计算机网络、大数据平台体系结构、编程语言（编写运维脚本）等，通常情况下，大数据运维工程师也需要对数据库有深入的了解。
需要具备哪些大数据技术能力才能称之为大数据人才？
对于大数据开发工程师和大数据可视化工程师，需要具备的技能是不同的，下面我们分别来说明：用人单位对于大数据开发人才的能力要求技能要求：1. 精通Java技术知识，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发；2. 了解python/shell等脚本语言；。
3. 熟悉大数据平台架构，对ETL、数据仓库等有一定了解；。4. 有数据可视化、数据分析、数学模型建立相关经验者优先考虑。5. 有爬虫系统开发经验者优先。用人单位对于大数据可视化人才的能力要求技能要求：1) 熟练掌握各项Web前端技术 (HTML/CSS/Java) ，了解svg，canvas，webgl技术；2) 在地图/gis相关数据可视化有过开发经验；3) 具有计算机图形学理论基础，熟悉数据可视化相关基础算法；4) 有过dashboard，大屏，数据展示各种开发经验，熟悉e-charts等工具相关：大数据培训，大数据需要学什么？https://www.toutiao.com/i6605723461937529348/大数据技术的应用方向：https://www.toutiao.com/i6575857760468992516/。
数据科学与大数据技术，简称“大数据”，这个专业好不好？
回答:热门而火爆的新兴专业。1.数据科学与大数据技术，简称“大数据”，是计算机、人工智能等多学科相互交叉的专业。2.大数据专业，主要培养通过大数据思维，对大数据进行开发运用的高层次人才。毕业后，主要去向为政府、企业、公司，具体行业为保险、电子商务、银行、金融、医药、互联网等。3.自中科院首开“大数据技术与应用”专业以来，截止目前，全国有近300所大学开设了大数据专业，可见该专业的热门程度。
4.《大数据人才报告》显示，目前中国大数据人才仅46万人。预计未来几年，仅基础数据分析就有1400万人才缺口，不亚于令人吃惊的“天文数字”。5.大数据人才严重不足，导致一些行业招不到大数据人才，尤其是中小企业，高薪也很难招到。据调查，工作满一年的大数据人才月薪1.2万元，工作满三年的hadoop人才年薪高达40万元。
文章TAG：能力 数据 内容
