顿搜
飞过闲红千叶，夕岸在哪
类目归类
Hadoop简介——三种运行模式
10/28
Hadoopp有三种运行模式：单机模式，伪分布式模式，完全分部模式。
一、单机模式
单机模式是Hadoop的默认模式，安装完成后就是单机模式。在单机模式下，Hadoop用的是本地文件系统而不是分布式文件系统。Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程，Map和Reduce是作为同一个任务不同进程来执行的。单机模式避免了复杂的配置工作。用于对MapReduce程序得开发和调试，确保程序得逻辑正确 。
二、伪分部模式
伪分布式模式：在一台主机中模拟多台主机，Hadoop启动的NameNode、DataNode、JobTracker、TaskTracker这些守护进程是在同一台主机上运行。他们都是相互独立的Java进程。在这种模式下，Hadoop使用的是分布式文件系统，在单机模式的基础上增加了代码调试功能。 允许程序员检查内存的使用情况 、HDFS的输入输出、即守护进程之间的交互是否正确、程序执行类似于完全分布式模式。
三个关键文件：
- core-site.xml：用于设置Hadoop集群的特性，作用域全部进程及客户端。
- hdfs-site.xml：用于配置HDFS集群的工作属性
- mapred-site.xml：用于配置MapReduce集群的工作属性
三、完全分部模式
完全分布式模式：Hadoop的守护进程搭建在多台主机搭建的环境上，在所有主机上都安装JDK和Hadoop组成相互连通的网络，在主机之间设置SSH免密码登录，把各个从节点生成的公共密钥添加到主节点的可信列表。修改三个配置文件。指定NameNode以及JobTracker的位置和端口，
