解决上述问题的方法有很多,但在大数据中这个问题会更严重。对于传统行业的职场人士来说,在学习大数据的时候,一定要注意如何将大数据与自己的工作任务相结合,既能促进大数据的学习,又能在学习大数据的过程中逐步提升自己的职场价值。首先,大数据的技术体系比较庞大,涉及很多技术方向,很多方向也比较难学,需要大数据学习者有一个系统的学习计划,以及一定的实验环境和交流环境。

大数据有哪些根本上的问题?

大数据有哪些根本上的问题

对大数据范式的批评有两种形式,一种质疑方法本身的含义,另一种质疑目前完成的方式。这种批评的一个方法是关键数据研究领域。一个关键的问题是我们对导致大数据的典型网络特征出现的潜在经验微观过程知之甚少。 Snijders,Matzat和Reips在他们的批评中指出,对数学性质的假设往往是非常强烈的,而这些假设可能根本不能反映微观过程中真正发生的事情。

马克格雷厄姆对克里斯安德森的断言提出了广泛的批评,他认为大数据会拼出理论的终结点特别关注大数据必须始终在其社会,经济和政治背景下进行背景化的观点。即使公司投入八位数和九位数来从供应商和客户的信息流中获取洞察力,但不到40的员工拥有足够成熟的流程和技能来完成这一任务。为了克服这种洞察力不足,大数据无论多么全面或分析得好,都必须辅以大判断。

与此大致相同,有人指出,基于大数据分析的决策不可避免地要像过去那样被世界所了解,或者至少像现在一样。通过大量有关过去经验的数据,如果未来与过去类似,算法可以预测未来的发展。如果未来变化的系统动力学如果它不是一个静止的过程,过去可以说一点关于未来。为了在不断变化的环境中进行预测,有必要全面了解系统动态,这需要理论。

作为对这一批评的回应,Alemany Oliver和Vayre建议使用诱人推理作为研究过程的第一步,以便为消费者的数字痕迹带来背景并使新理论浮现。此外,已经提出以大数据结合了计算机模拟,诸如接近基于代理的模型和复杂系统。基于代理的模型通过基于一系列相互依赖的算法的计算机模拟,越来越好地预测即使未知的未来情景的社会复杂性的结果。

大数据有什么缺陷?

大数据有什么缺陷

大数据的发展存在一个节点,及互联网同步现实世界信息的占比,是否达到较为全面反映现实世界的运行规律。越过这个比率,研究大数据就会有价值,反之,研究大数据只会得到失真的结论。所以大数据存在虚拟化的最小值。1信号噪声增大当审视数据当中的某个表象的时候,常常需要考虑这种表象是否是偶然产生的。如果这种表象看起来不太可能是随机产生的时候,就称统计上显著的。

如果做足够多不同的相关性测试,偶然产生的结果就会淹没真实的发现。有很多办法可以解决上述的问题,然而在大数据中这种问题会更加严重。和一个小规模的数据集合相比,大数据的情况下有太多可以用作比较的标准。如果不做仔细的分析,那么真实的表象与虚假表象之比——相当于信号噪声比——很快就会趋近于0。2数据型干草垛纳西姆.塔勒布Nassim Taleb提出随着我们掌握的数据越来越多,可以发现的统计上显著的相关关系也就越来越多。

在这个庞大的干草垛里,我们要找的那根针被越埋越深。大数据时代的特征之一就是,重大发现的数量被数据扩张带来的噪音所淹没。3直觉的价值如果每个人都求助于数据,都利用大数据工具的话,那么不可预测性——例如人类的本能冒险意外甚至失误——也许将会成为差异的关键。如果真是这样的话,那么需要专门为人为因素辟出一席之地——即为直觉常识运气留出空间,以确保它们不会被数据和机器生成的答案挤走。

4数据不懂社交。大脑不擅长数学。请快速心算一下437的平方根,但是大脑理解社会认知。人们善于反映对方的情绪状态,察觉不合作的行为,给有情绪的事物赋予价值。在社会关系的决策中,情感大于数据。5数据不了解背景。人们善于用多种原因和背景来讲述故事。数据分析不知道怎么叙述,也不知道思维是怎么冒出来的。


文章TAG:处理大数据的方法有哪些问题吗  数据  缺陷  
下一篇