大数据的核心算法有哪些？
算法是指一切经过明确定义的计算过程，其将某个或者某组值作为输入内容，并产生某个或者某组值作为输出结果。简单的说，我们可以将算法视为一系列用于解决某个任务的步骤。大数据领域常用的算法有：CART算法、K-Means算法、AdaBoost算法、C4.5算法、PageRank算法、Apriori算法、EM算法、SVM算法、朴素贝叶斯算法等。
大数据会常用到哪些算法知识？
目前大家想要学习大数据或者人工智能的东西，都是听过不少，但是又不知道如何下手，感觉是一个非常模糊、抽象难懂的东西。我常举一个例子：水果大家都听过，但是没见过，你肯定会反驳我，我见过啊：香蕉、苹果、橘子都是水果啊。对，今天今天我们就来聊聊，大数据，聊聊大数据里面的“香蕉”、“苹果”、“橘子”；如何找到这些“水果”？我建议最有效的就是去看大数据相关岗位的招聘要求，简单用近期一个朋友在朋友圈的招聘贴来找“水果”【有兴趣的，赶紧简历砸过去】：看上图，解释下：1、2、3这些基础知识就不说了，任何一个计算机相关的同学肯定都知道这些基础能力：计算机原理、数据结构、网络技术、信息论 等等。
下面重点讲讲如下核心的“苹果”：一、机器学习和模式识别：常用的算法，主要有以下几个，工程中很多应用都是从这些基础算法改进整合来的，（想快速了解这些基础算法，推荐一本超薄的书：李航《统计学习方法》，可以用来overview，或者精读都可以）： 1、回归算法 2、神经网络 3、SVM（支持向量机） 4、聚类算法 5、降维算法 6、推荐算法除了如上几种算法外，机器学习界还有其他的如高斯判别，朴素贝叶斯，决策树等等算法。
但是上面列的六个算法是使用最多，影响最广，种类最全的典型。下面做一个总结，按照训练的数据有无标签，可以将上面算法分为监督学习算法和无监督学习算法，但推荐算法较为特殊，既不属于监督学习，也不属于非监督学习，是单独的一类。 监督学习算法： 线性回归，逻辑回归，神经网络，SVM 无监督学习算法： 聚类算法，降维算法 特殊算法： 推荐算法 除了这些算法以外，有一些算法的名字在机器学习领域中也经常出现。
但他们本身并不算是一个机器学习算法，而是为了解决某个子问题而诞生的。你可以理解他们为以上算法的子算法，用于大幅度提高训练过程。其中的代表有：梯度下降法，主要运用在线型回归，逻辑回归，神经网络，推荐算法中；牛顿法，主要运用在线型回归中；BP算法，主要运用在神经网络中；SMO算法，主要运用在SVM中二、自然语言处理：一般来说，自然语言处理的目的是让机器能够执行人类所期望的某些语言功能自然语言处理是人工智能的终极发展目标,大概可以分为人类语言的处理(语言学)和机器语言的翻译。
其大致流程是语音识别与合成---语音分析、词法分析、句法分析、语义分析、语用分析。算法可以参考：http://www.360doc.com/content/17/0119/19/35472060_623543541.shtml应用中常常会用到这个算法：TF-IDF（词频-逆文档频率）算法是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
http://blog.csdn.net/lionel_fengj/article/details/53699903三、知识图谱：这一块我没有认真深入了解过，算法的部分，感兴趣可以去检索下。以上 ，千里之行始于足下，大数据算法也不例外，把基础扎实了，遇到工程问题，你自然会抽象出需要解决的问题，然后将其分解成基础的算法问题，你可以作出你自己的算法。
大数据的推荐算法真的很厉害吗？
现在许多平台都使用大数据的推荐算法来向用户推荐更适合的内容，那么这个算法本身真的很厉害么？A 推荐算法的核心——分类器一个平台上的内容何止千万，如何才能准确地找到你喜欢的那几条呢？把用户分类通过你的点赞/转发/停留/评论/不喜欢这此操作，为你打上标签，把你分类到某一类别的用户中。关键点在于如何设计这些用户操作和记录的“机制”，让用户做最少的动作就能获得最有效的信息，准确地把你分类到一个集中。
把内容分类对每个视频/文章/问答/图片打上标签，这时会用到AI的一些算法，去准确地识别内容并分类。B 推荐算法的难点数据量这里并不是说数据量越大越好，其实数据量过多也是算法的难处之一，涉及到如何存储/如何处理/如何解析等等，能很好地处理庞大的数据的算法是非常不容易的。计算能力手机上的软件就那么大，手机计算能力就那么点，信息处理的能力非常有限，大部分计算是网站后台服务器实现的，可是如何能够利用每一台手机这些小小地处理器，将部分信息进行预处理，也是很厉害的。
自净化能力如果单纯是喜欢看什么，就让什么火，那后果是非常严重的，如果那样，网络上恐怕会充斥着黄色/暴力/低俗这些内容了。所以推荐机制有一个很重要的能力，准确地识别的这些内容，并把它最快速度扼杀掉。总结一下大数据的推荐算法还真的是挺厉害的，想要做一个非常好的推荐机制，需要考虑的维度非常之多，需要处理的数据量非常之大，需要计算能力非常之强。
大数据工程师跟算法工程师的区别有哪些？
大数据正在经历从概念向产业转化的过程，目前大数据领域的岗位职责也开始逐渐清晰，更多的大数据岗位将被陆续释放，这些岗位中目前比较常见的就是大数据工程师和算法工程师，这两个岗位的区别体现在以下几点：第一：定位不同。大数据工程师的定位往往从应用的角度出发，而算法工程师的定位则非常具体，大数据工程师需要解决大数据平台的设计以及应用，而算法工程师往往针对具体问题（场景）进行算法设计，有的团队也会要求算法工程师完成算法实现。
第二：职责不同。大数据工程师的任务往往都是基于大数据平台的，比如最常见的是大数据平台的功能开发，原有系统的大数据化，大数据的场景解决方案，大数据与其他系统的对接等等。算法工程师的任务往往是根据具体的场景进行算法设计、训练算法、验证算法等任务，当然也有的团队把算法设计和算法实现分开。第三：任务面不同。从工作的内容来看，大数据工程师的工作面更广一些，有的时候大数据工程师还需要做一些大数据运维方面的事情，比如大数据平台的搭建、组件部署、测试等工作，另外还可能会做一些存储、虚拟化、管控方面的任务，当然更多的任务是完成功能的开发和对接。
相比于算法工程师来说，大数据工程师的任务面更广一些。第四：发展方向不同。大数据工程师的发展方向是大数据行业专家、大数据咨询专家、大数据架构师、大数据项目经理等岗位，而算法工程师发展方向是算法专家、首席科学家（团队）等岗位。可以说大数据工程师更偏向工程实践方向，而算法工程师往往更偏向研发方向。大数据是我的主要研究方向之一，目前我也在带大数据方向的研究生，我会陆续在头条写一些关于大数据方面的文章，感兴趣的朋友可以关注我的头条号，相信一定会有所收获。
为什么感觉一些大厂招聘算法工程师工资普遍比开发工资高？
因为算法工程师比开发工程师牛：1、从技能上来说，算法工程师干得了开发；可开发工程师干不了算法。2、从专业上来说，算法工程师对数学能力要求特别高；而开发工程师编程水平高就行了。3、从工作要求上来说，算法工程师需要创新；而开发工程师是写代码。4、从职业前景来说，算法工程师比开发工程师前景广阔多了。目前，深度学习、神经网络、机器学习、AI、Python是企业招聘算法工程师的关键字。
想去大数据行业，本科报统计学，还是数学，或计算机专业更接近？
这是一个非常好的问题，作为一名大数据从业者，同时也是一名教育工作者，我来回答一下这个问题。首先，从2016年以来，很多高校都陆续在本科期间设立了大数据专业，所以对于未来想进入大数据领域发展的学生来说，在本科期间可以重点考虑一下大数据专业。大数据专业的整体知识结构涉及到三大块，包括数学、统计学和计算机，然后还涉及到大量相关学科的知识，包括经济学、社会学、医学等等。
从学习体验方面来说，大数据专业会为学生营造一个更好的学习环境，相关的硬件支撑（数据中心等）也会比较健全。大数据专业当前的热度比较高，重点大学的竞争还是比较激烈的，所以如果想避开大数据专业，也可以选择数学、统计学和计算机这三个相关专业。数学是典型的基础学科，数学基础对于未来学习大数据有非常重要的意义，但是数学专业在本科期间的学习任务还是比较重的，而且难度也相对比较高，所以如果有明确的读研计划，那么在本科期间可以选择数学专业。
统计学专业与大数据专业的关系非常密切，当前很多大数据领域的从业者都来自于统计学专业，甚至很多人也把统计学和大数据看成是一个概念。相对于数学专业来说，统计学本身与大数据的结合更加直接，而且大数据行业也为统计学专业提供了新的就业渠道。选择统计学专业要重点考虑一下目标学校的学科实力，一些财经类高校的统计学专业还是很值得选择的，结合具体的行业知识，未来也会有更好的就业机会。
如果未来想从事专业的数据分析岗位（算法岗），完全可以选择统计学专业。计算机专业也是近些年来的热点专业，相对于大数据专业来说，计算机专业的选择空间更大，很多高校的大数据专业也都是基于计算机专业打造的，从这个角度来看，选择计算机专业也是完全可以的。实际上，当前不少计算机专业在划分具体研究方向的时候，大数据是一个非常常见的方向。
选择计算机专业会有更大的岗位选择空间，大数据开发、大数据分析和大数据运维等岗位，都需要具有扎实的计算机基础知识。我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！。
文章TAG：算法 数据 闲谈
