常见大数据平台有哪些,大数据采集平台有哪些

大数据平台开发大数据平台工程师主要专注于提供大数据基础设施和工具。数据库，大数据平台类，星环，还有一家做Hadoop生态系列的大数据平台公司。谢，据我所知，大数据采集平台根据数据来源大致有这几种。大数据是一个专注于大数据技术和应用大数据学习的技术门户网站。

大数据采集平台有哪些？

谢邀，据我所知，大数据采集平台根据数据来源大致有这几种1系统日志采集平台。大部分企业都是有系统日志采集平台的，在企业的业务平台下，每天都会产生大量的日志数据。企业通过采集这些日志数据并对它清洗整理后进行数据分析，从而挖掘出这些日志数据中的潜在价值。2网络数据采集平台。这种数据采集平台一般都是通过爬虫去采集的，在服务器上搭建一个对目标网站集进行爬取的爬虫，然后将每天爬取到的数据进行清洗整理，最终得到企业所需的数据。

大数据平台的软件有哪些？

这个要分好几块来讲，首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样，下面分别聊一下。一大数据处理这个是所谓大数据项目中最先想到的模块。主要有spark，hadoop，es，kafka，hbase，hive等。当然像是flume，sqoop也都很常用。这些软件主要是为了解决海量数据处理的问题。

软件很多，我只列几个经典的，具体可以自行百度。二机器学习相关大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件，比如说sklearn，spark的ml，当然还有自己实现的代码。三web相关技术大部分项目也都跑不了一个web的展示，因此web就很重要的，java的ssh，python的django都可以，这个看具体的项目组习惯了。

四其它还有一些很常用的东西，个人感觉不完全算是大数据特定使用范围。反正我在做大数据项目的时候也都用到了。比如说数据存储redis，mysql。数据可视化echart，d3js。图数据库neo4j。再来说说大数据平台的软件或者工具1 数据库，大数据平台类，星环，做Hadoop生态系列的大数据平台公司。

Hadoop是开源的，星环主要做的是把Hadoop不稳定的部分优化，功能细化，为企业提供Hadoop大数据引擎及数据库工具。2 大数据存储硬件类，浪潮，很老牌的IT公司，国资委控股，研究大数据方面的存储，在国内比较领先。3 云计算，云端大数据类，阿里巴巴，明星产品-阿里云，与亚马逊AWS抗衡，做公有云私有云混合云。

实力不差，符合阿里巴巴的气质，很有野心。4 数据应用方面这个有很多，比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。帆软是商业智能和数据分析平台提供商，从报表工具到商业智能，有十多年的数据应用的底子，在这个领域很成熟，目前处于快速成长期，但是很低调，是一家有技术有实力而且对客户很真诚的公司。

有哪些大数据免费分享平台？

大数据免费分享的平台，目前市场上有很多，比如比较常用的流量工具，数据分析工具等。综合起来有以下几种比较常用的。网站分析平台，了解你的业务从了解你的用户开始谷歌分析，谷歌分析的功能确实强大，很多计算的实现功能或者复杂度比百度统计CNZZ高一层面百度统计，百度出品的一个产品，可以结合SEO一起使用CNZZ，阿里的一个产品，相对前面两个相对功能上要弱一些，子目录统计分析目前都不支持，失望中。

网站排名查询平台，查自己喜欢的网站排名也没问题。我知道我脑海中的Alexa。这是一个早期排名产品。从接触互联网听说大家都在用中文网站排名，比较适合中国国情。有查中网网站排名的参考。更好的是，百度的权重PR值都在，真的很意外。教育数据，回想起那年高考，看各校录取分数线数据都得买本书看高考预测。百度的，结合大数据技术，是一个预测性的教育产品。教育部和国家权威政府机构教育部发布教育相关数据。你放心，国家统计机构和政府部门的统计数据已经不能再权威了。所有关系国计民生的数据都是中国统计局做的，是在做一个全国性的数据产品，挺好的。当然，还有各地区的经济数据。

文章TAG：常见大数据平台有哪些  平台  数据  采集