我们知道,为了维护大数据并以不同的方式从此数据获取相应的报告,我们使用了Hadoop,它是ApacheSoftwareFoundation基于Java编程语言的开源框架。
现在,Apache引入了名为Hadoop2的下一个Hadoop版本,因此本文着重介绍这两个版本之间的差异。
以下是Hadoop1和Hadoop2之间的主要区别。
序号 | 键 | Hadoop1 | Hadoop2 | 1 | 新组件和API | 正如Hadoop1在Hadoop2之前引入的那样,与Hadoop2相比,它具有更少的组件和API。 | 另一方面,在Hadoop1之后引入的Hadoop2与Hadoop1相比具有更多的组件和API,例如YARNAPI,YARNFRAMEWORK和增强的ResourceManager。 |
2 | 支持 | Hadoop1在其体系结构中仅支持MapReduce处理模型,不支持非MapReduce工具。 | 另一方面,Hadoop2允许在MapReducer模型以及其他分布式计算模型(例如Spark,Hama,Giraph,消息传递接口)MPI和HBase协处理器中工作。 |
3 | 资源管理 | Hadoop1中的Mapreducer负责处理和集群资源管理。 | 另一方面,在使用Hadoop2进行群集资源管理的情况下,使用YARN进行处理管理是使用不同的处理模型完成的。 |
4 | 可扩展性 | 由于Hadoop1早于Hadoop2,因此可伸缩性比Hadoop2相对要小,并且在节点扩展的情况下,每个集群最多只能有4000个节点 | 另一方面,Hadoop2具有比Hadoop1更好的可伸缩性,并且每个群集最多可伸缩10000个节点。 |
5 | 实作 | Hadoop1的实现遵循插槽的概念,插槽仅可用于运行Map任务或Reduce任务。 | 另一方面,Hadoop2遵循了可用于运行一般任务的容器的概念。 |
6 | Windows支持 | 最初,在Hadoop1中,Apache不提供对MicrosoftWindows的支持。 | 另一方面,随着Hadoop版本的改进,Apache为Hadoop2中的MicrosoftWindows提供了支持。 |