JobTracker

Autor: Roger Morrison
Data De Criação: 19 Setembro 2021
Data De Atualização: 21 Junho 2024
Anonim
019 MapReduce Daemons JobTracker and TaskTracker Explained
Vídeo: 019 MapReduce Daemons JobTracker and TaskTracker Explained

Contente

Definição - O que significa o JobTracker?

O JobTracker é um daemon que é executado no mecanismo Apache Hadoops MapReduce. O JobTracker é um serviço essencial que distribui todas as tarefas do MapReduce para os diferentes nós no cluster, idealmente para os nós que já contêm os dados ou, no mínimo, estão localizados no mesmo rack que os nós que contêm os dados.


Uma introdução ao Microsoft Azure e Microsoft Cloud | Neste guia, você aprenderá sobre o que é a computação em nuvem e como o Microsoft Azure pode ajudá-lo a migrar e administrar seus negócios a partir da nuvem.

Techopedia explica o JobTracker

O JobTracker é o serviço do Hadoop responsável por atender às solicitações dos clientes. Ele os atribui aos TaskTrackers no DataNodes, onde os dados necessários estão presentes localmente. Se isso não for possível, o JobTracker tenta atribuir as tarefas aos TaskTrackers no mesmo rack em que os dados estão presentes localmente. Se, por algum motivo, isso também falhar, o JobTracker atribui a tarefa a um TaskTracker onde existe uma réplica dos dados. No Hadoop, os blocos de dados são replicados nos DataNodes para garantir redundância, de modo que, se um nó no cluster falhar, o trabalho também não falhará.


Processo JobTracker:

  1. Solicitações de trabalho de aplicativos clientes são recebidas pelo JobTracker,
  2. O JobTracker consulta o NameNode para determinar a localização dos dados necessários.
  3. O JobTracker localiza os nós do TaskTracker que contêm os dados ou pelo menos estão próximos dos dados.
  4. O trabalho é enviado ao TaskTracker selecionado.
  5. O TaskTracker executa suas tarefas enquanto é monitorado de perto pelo JobTracker. Se o trabalho falhar, o JobTracker simplesmente reenvia o trabalho para outro TaskTracker. No entanto, o JobTracker em si é um ponto único de falha, ou seja, se falhar, todo o sistema será desativado.
  6. O JobTracker atualiza seu status quando o trabalho é concluído.
  7. O solicitante do cliente agora pode pesquisar informações do JobTracker.