Contente
- Definição - O que significa Spider?
- Uma introdução ao Microsoft Azure e Microsoft Cloud | Neste guia, você aprenderá sobre o que é a computação em nuvem e como o Microsoft Azure pode ajudá-lo a migrar e administrar seus negócios a partir da nuvem.
- Techopedia explica Spider
Definição - O que significa Spider?
No meio da Internet, uma aranha é um software especializado projetado para rastrear e navegar sistematicamente na World Wide Web normalmente com o objetivo de indexar páginas da Web, a fim de fornecê-las como resultados de pesquisa para consultas de pesquisa de usuários. A mais famosa dessas aranhas é o principal rastreador do Googlebot, do Google, que ajuda a garantir que os resultados relevantes sejam retornados para consultas de pesquisa.
As aranhas também são conhecidas como rastreadores da Web, robôs de pesquisa ou simplesmente robôs.
Uma introdução ao Microsoft Azure e Microsoft Cloud | Neste guia, você aprenderá sobre o que é a computação em nuvem e como o Microsoft Azure pode ajudá-lo a migrar e administrar seus negócios a partir da nuvem.
Techopedia explica Spider
Uma aranha é essencialmente um programa usado para coletar informações da Internet. Ele rastreia as páginas dos sites, extraindo informações e indexando-as para uso posterior, geralmente para resultados de mecanismos de pesquisa. A aranha visita sites e suas páginas através dos vários links de e para as páginas; portanto, uma página sem um único link será difícil de indexar e pode ser classificada com uma classificação muito baixa na página de resultados de pesquisa. E se houver muitos links apontando para uma página, isso significa que a página é popular e aparecerá mais nos resultados da pesquisa.
Etapas envolvidas no rastreamento da Web:
- A aranha encontra um site e começa a rastrear suas páginas.
- A aranha indexa as palavras e o conteúdo do site.
- A aranha visita os links encontrados no site.
Aranhas ou webcrawlers são apenas programas e, como tal, seguem regras sistemáticas definidas pelos programadores. Os proprietários de sites também podem entrar nisso, informando à spider quais partes do site indexar e quais não devem. Isso é feito criando um arquivo "robots.txt" que contém instruções para o spider sobre quais partes indexar e links a seguir e quais devem ser ignoradas. As aranhas mais significativas por aí são aquelas pertencentes a importantes mecanismos de pesquisa como Google, Bing e Yahoo, e aquelas destinadas à mineração e pesquisa de dados, mas também existem algumas aranhas maliciosas escritas para encontrar e coletar s para o usuário vender para propaganda empresas ou para encontrar vulnerabilidades na segurança da Web.