大数据平台的软件有哪些?

这个要分好几块来讲,首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样,下面分别聊一下。一、大数据处理这个是所谓大数据项目中最先想到的模块。主要有spark,hadoop,es,kafka,hbase,hive等。当然像是flume,sqoop也都很常用。这些软件主要是为了解决海量数据处理的问题。

软件很多,我只列几个经典的,具体可以自行百度。二、机器学习相关大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件,比如说sklearn,spark的ml,当然还有自己实现的代码。三、web相关技术大部分项目也都跑不了一个web的展示,因此web就很重要的,java的ssh,python的django都可以,这个看具体的项目组习惯了。

四、其它还有一些很常用的东西,个人感觉不完全算是大数据特定使用范围。反正我在做大数据项目的时候也都用到了。比如说数据存储:redis,mysql。数据可视化:echart,d3js。图数据库:neo4j。再来说说大数据平台的软件或者工具:1、 数据库,大数据平台类,星环,做Hadoop生态系列的大数据平台公司。

Hadoop是开源的,星环主要做的是把Hadoop不稳定的部分优化,功能细化,为企业提供Hadoop大数据引擎及数据库工具。2、 大数据存储硬件类,浪潮,很老牌的IT公司,国资委控股,研究大数据方面的存储,在国内比较领先。3、 云计算,云端大数据类,阿里巴巴,明星产品-阿里云,与亚马逊AWS抗衡,做公有云、私有云、混合云。

实力不差,符合阿里巴巴的气质,很有野心。4、 数据应用方面这个有很多,比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。帆软是商业智能和数据分析平台提供商,从报表工具到商业智能,有十多年的数据应用的底子,在这个领域很成熟,目前处于快速成长期,但是很低调,是一家有技术有实力而且对客户很真诚的公司。

有哪些好的数据来源或者大数据平台?

花了两天时间,整理如下40 个平台,多数免费即可获取数据。官方发布数据(多立足社会民生)1、国家数据——主要用户:社会情况研究人员国家统计局开设网站,公布我国各个领域的宏观经济情况,权威度高2、国家统计局——主要用户:社会情况研究人员链接各省市地区的统计网站,提供更多官方统计报告3、中国裁判文书网——主要用户:法律从业/学习/爱好者中国最高人民法院开设,权威可信,可用于查询国内裁判文书,可作数据统计来源4、中国互联网信息研究中心——主要用户:互联网研究人员经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告5、中国信通院——主要用户:互联网研究人员针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观6、国土资源部——主要用户:相关研究人员国土资源部对外公开的信息报告,内容权威7、中国气象局——主要用户:气象相关研究人员中国气象局对外公开的年度报告,支持下载查看网络趋势分析1、5118 / chinaz——主要用户:SEO专员支持查询网站排名及发展趋势、百度收录情况等信息2、艾瑞指数——主要用户:互联网从业者艾瑞旗下/包括移动APP指数、PC Web指数、影视指数、广告指数、移动设备指数五类指数查询工具。

3、百度指数——主要用户:营销人百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱4、微指数——主要用户:微博营销人新浪微博旗下/反映微博舆情或账号发展走势的数据分析工具5、搜狗指数——主要用户:营销人搜狗旗下/基于搜狗用户行为的数据分享平台,同时支持搜索微信热度6、微信指数——主要用户:微信公众号运营人微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用细分行业趋势分析1、阿里指数——主要用户:淘宝卖家阿里旗下/反映淘宝平台市场动向的数据分析平台2、CBO中国票房——主要用户:电影行业从业人员、爱好者基于国内票房数据,统计票房排行、上座率等信息。

3、爱奇艺指数/——主要用户:爱奇艺用户/视频行业研究人员爱奇艺旗下/基于爱奇艺播放数据,展现视频播放趋势、视频受众画像等信息4、360大数据平台——主要用户:网络安全相关人员360旗下/支持地区最热新闻、中国人返乡热度、诈骗地图等信息的查询5、易车指数——主要用户:购车者、汽车从业者反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数。

 2/3   首页 上一页 1 2 3 下一页 尾页

文章TAG:平台  数据  何方  走向  金融  
下一篇