在知识结构的设计上，大数据应用技术涉及到数学、统计学、编程语言、大数据平台、操作系统、数据分析工具等内容，另外也会涉及到物联网、云计算等相关方面的内容。数学和统计学是大数据技术的重要基础，即使从事落地应用也要重点掌握一些常见的算法。编程语言的学习通常会集中在Java、Python、Scala、R等编程语言上，从目前就业的角度出发，Java是不错的选择。
如果未来想从事大数据应用开发岗位，那么需要重点学习一下编程语言部分。大数据平台的学习是大数据应用技术的重点学习内容之一，大数据平台的学习内容包括大数据平台的部署、调试、维护等内容。目前Hadoop、Spark是比较常见的大数据平台，同时这两个平台也比较适合初学者学习和实验。经过多年的发展，目前大数据平台的组件已经逐渐丰富，所以这部分学习内容也相对比较多。
数据分析工具的学习可以从基本的Excel开始，然后进一步学习各种BI工具，在学数据分析工具的过程中也涉及到一些常见的数据分析算法以及数据库知识。最后，随着大数据技术逐渐落地到广大的传统行业，未来大数据应用专业的就业前景还是比较广阔的。我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
大数据的概念和应用，到底是什么？
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特征应该有以下几个方面（4V）。首先是量特别大（Volume），现在的数据计算单位，已经从GB到达了TB、PB，甚至是EB了；其次是多样性（Variety），绝大多数大数据是非结构性的，其种类十分复杂，我们现在的技术手段还没法对此进行处理；再次是速度（Velocity），数据产生和传送的频率非常快；最后是价值（Value），从大量的低质量、低价值的数据中获取知识，犹如从大海中捞针，获取数据成本很高，但有待挖掘价值大。
大数据的应用很广泛，下面就是几个例子：洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。麻省理工学院利用手机定位数据和交通数据建立城市规划。
梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。如果说上述例子距离我们有点远，那么我们在说说身边发生的事情。拿今日头条来说，也许你今天点开了某个标题的信息，明天你就有可能受到类似内容的消息推送，这就是基于大数据的推送。比如你在某购物网站上下单买了某一款衣服，接下来你就会在其他网页弹出的广告中发现类似的产品，这也是大数据使然。
网络上有很多大数据应用的例子。也许下面这个笑话也说明了大数据的应用目前已经无所不在。某比萨店的电话铃响了，客服人员拿起电话。客服：XXX比萨店。您好，请问有什么需要我为您服务 ？顾客：你好，我想要一份……客服：先生，烦请先把您的会员卡号告诉我。顾客：16846146***。客服：陈先生，您好！您是住在泉州路一号12楼120x室，请问您想要点什么？顾客：我想要一个海鲜比萨……客服：陈先生，海鲜比萨不适合您。
顾客：为什么？客服：根据您的医疗记录，你的血压和胆固醇都偏高。顾客：那你们有什么可以推荐的？客服：您可以试试我们的低脂健康比萨。顾客：你怎么知道我会喜欢吃这种的？客服：您上星期一在中央图书馆借了一本《低脂健康食谱》。顾客：好。那我要一个家庭特大号比萨，要付多少钱？客服：99元，这个足够您一家六口吃了。
但您母亲应该少吃，她上个月刚刚做了心脏搭桥手术，还处在恢复期。顾客：那可以刷卡吗？客服：陈先生，对不起。请您付现款，因为您的信用卡已经刷爆了，您现在还欠银行4807元，而且还不包括房贷利息。顾客：那我先去附近的提款机提款。客服：陈先生，根据您的记录，您已经超过今日提款限额。顾客：算了，你们直接把比萨送我家吧，家里有现金。
文章TAG：数据 推动 近期 内容
