云服务器上hdfs集群关于节点间通讯问题

云服务器上hdfs集群关于节点间通讯问题

在跑MR时,突然发现有的节点间相互call对方的内网ip,持续call不通,导致任务失败。仔细排查一下,发现可能是/etc/hosts的配置有问题。

由于在云服务器上,通讯间靠公网ip,所以和网上绝大多数查到的配置不同,我给出以下代码:

Master节点:

1
2
3
4
5
6
# inner
内网IP Master
# outer
公网IP Slave1
公网IP Slave2
...

Slave节点:

1
2
3
4
5
6
# inner
内网IP localhost
# outer
公网IP Master
公网IP Slave1
公网IP Slave2

具体应该怎样处理内网IP还看项目需求,可以按照自己的需要更改。

欢迎投喂,但你的支持就是对我最佳的回馈。