drno-reg
@drno-reg
см не кратко

Как проверить состояние slave нод кластера hadoop?

Здравствуйте.

У меня есть 3 виртуалки на CentOS 7 c hadoop

hadoop01 - master
hadoop02 - slave1
hadoop03 - slave2

стартую master

[hadoop@hadoop01 ~]$ hadoop-daemon.sh --config /app/hadoop/etc/hadoop --script hdfs start namenode
starting namenode, logging to /app/hadoop/logs/hadoop-hadoop-namenode-hadoop01.out
[hadoop@hadoop01 ~]$ hadoop-daemon.sh --config /app/hadoop/etc/hadoop --script hdfs start datanode
starting datanode, logging to /app/hadoop/logs/hadoop-hadoop-datanode-hadoop01.out
[hadoop@hadoop01 ~]$ start-dfs.sh
17/10/13 23:43:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [hadoop01]
hadoop01: namenode running as process 28467. Stop it first.
hadoop03: starting datanode, logging to /app/hadoop/logs/hadoop-hadoop-datanode-hadoop03.out
hadoop02: starting datanode, logging to /app/hadoop/logs/hadoop-hadoop-datanode-hadoop02.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /app/hadoop/logs/hadoop-hadoop-secondarynamenode-hadoop01.out
17/10/13 23:43:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[hadoop@hadoop01 ~]$ yarn-daemon.sh --config /app/hadoop/etc/hadoop  start resourcemanager
starting resourcemanager, logging to /app/hadoop/logs/yarn-hadoop-resourcemanager-hadoop01.out
[hadoop@hadoop01 ~]$ yarn-daemon.sh --config /app/hadoop/etc/hadoop  start nodemanager
starting nodemanager, logging to /app/hadoop/logs/yarn-hadoop-nodemanager-hadoop01.out
[hadoop@hadoop01 ~]$ yarn-daemon.sh --config /app/hadoop/etc/hadoop  start proxyserver
starting proxyserver, logging to /app/hadoop/logs/yarn-hadoop-proxyserver-hadoop01.out
[hadoop@hadoop01 ~]$ start-yarn.sh
starting yarn daemons
resourcemanager running as process 29000. Stop it first.
hadoop02: starting nodemanager, logging to /app/hadoop/logs/yarn-hadoop-nodemanager-hadoop02.out
hadoop03: starting nodemanager, logging to /app/hadoop/logs/yarn-hadoop-nodemanager-hadoop03.out
[hadoop@hadoop01 ~]$ mr-jobhistory-daemon.sh --config /app/hadoop/etc/hadoop start historyserver
starting historyserver, logging to /app/hadoop/logs/mapred-hadoop-historyserver-hadoop01.out


получаю результат

[hadoop@hadoop01 ~]$ jps
29520 JobHistoryServer
29249 NodeManager
28467 NameNode
29557 Jps
29000 ResourceManager
28555 DataNode
28862 SecondaryNameNode


проверяю через web
hadoop01:8088/cluster/nodes

там одна единственная запись
Cluster Metrics

/default-rack	RUNNING	hadoop01:46648	hadoop01:8042	Сб окт 14 01:52:45 +0300 2017		0	0 B	8 GB	0	8	2.8.1
Showing 1 to 1 of 1 entries


также и по
hadoop01:50070/dfshealth.html#tab-datanode

тоже информация только по мастеру

Node	Http Address	Last contact	Capacity	Blocks	Block pool used	Version
hadoop01:50010 (192.168.0.70:50010)	hadoop01:50075	2s	
64.98 GB
0	8 KB (0%)	2.8.1


правильно ли что отображается только информация о мастере или все-таки должна быть информация и о slave?
  • Вопрос задан
  • 1193 просмотра
Пригласить эксперта
Ответы на вопрос 1
@Yo1
из консоли можно посмотреть что там у hdfs:
hdfs dfsadmin -report

что за дистрибутив хадупа ? по хорошему нужно идти в cloudera manager, ambari или что там у вашего дистра для адинистрирования и смотреть там состояние сервисов.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы