DEFINIÇÃO E FUNÇÃO DOS ROBÔS DE BUSCA

...

Os robôs de busca começam seu trabalho em uma determinada página. Armazenam o conteúdo e mapeiam todos os links existentes nela. Em seguida, priorizam cada um dos links e começam a segui-los, a fim de armazenar o conteúdo e mapear os links encontrados, e assim sucessivamente.

[pic 1]

Figura 1 – Site de busca do Google (Fonte: Internet)

- A HISTÓRIA DOS ROBÔS DE BUSCA:

Em 1993, um aluno do MIT Matthew Gray criou o que é considerado o primeiro robô, chamado de World Wide Web Wanderer. Foi inicialmente utilizado para a contagem de servidores Web para medir o tamanho da web. The Wanderer funcionou de 1993 a 1995. Mais tarde, foi utilizado para obter URLs, formando o primeiro banco de dados de indexação de sites chamado Wandex. ·.

Um robô é um programa que automaticamente atravessa a estrutura do hipertexto da Web, recuperando todos os documentos que são referenciados. Robôs da Web são por vezes referidos como andarilhos da web, crawlers ou spiders. Estes nomes são um pouco enganadores porque dá a impressão que o software se move entre os locais como um vírus, este não é o caso, um robô simplesmente visita sites por solicitar os documentos deles. Inicialmente, os robôs criaram um pouco de controvérsia, como se consumava grandes quantidades de largura de banda, às vezes causando nos servidores. Em 1993, Martijn Koster cria o Aliweb (Archie-Like Indexing da Web). Aliweb permitiu que os usuários enviassem suas próprias páginas a serem indexadas para ser usada na internet. Segundo Koster, "Aliweb foi um site de busca com base na meta automatizada de coleta de dados, para a web."

Eventualmente, como parecia a Web poderia ser rentável, os investidores começaram a se envolver. E os sites de busca tornarão-se um grande negócio.

Jerry Yang e David Filo criarão o Yahoo criado em 1994. Ele começou como uma lista de seus sites favoritos. O que fez a diferença foi que cada entrada, além da URL, teve uma descrição da página. Dentro de um ano a dois financiamentos foram recebidos e Yahoo, a empresa, foi criada. WebCrawler foi desenvolvido. Foi o primeiro site de pesquisa de texto completo na Internet, todo o texto de cada página foi indexada pela primeira vez. Lycos apresenta recuperação de relevância, a correspondência de prefixo, e da proximidade de palavras, em 1994. Foi um grande mecanismo de busca, indexou mais de 60 milhões de documentos em 1996, foi o maior de qualquer site de busca, ao mesmo tempo. Como muitos dos outros sites de busca (Figura 2), Lycos foi criado em um ambiente universitário da Universidade Carnegie Mellon pelo Dr. Michael Mauldin.

Infoseek entrou em operação em 1995. E ele realmente não traz nada de novo à cena dos sites de busca. É agora propriedade da Walt Disney Internet Group e o domínio Go.com. Alta Vista também começou em 1995. Foi o primeiro site de busca a permitir investigação a linguagem natural e avançadas técnicas de investigação.Ele também fornece uma pesquisa de multimídia para fotos, músicas e vídeos.

Inktomi começou em 1996 na Universidade de Berkeley. Em junho de 1999 Inktomi introduzido um mecanismo de pesquisa de diretório powered by "indução" conceito de tecnologia. "Indução Concept", segundo a empresa, "tem a experiência de análise humana e aplica os mesmos hábitos de uma análise computadorizada de vínculos, uso e outros padrões para determinar quais sites são mais populares e os mais produtivos." Inktomi foi comprado pelo Yahoo em 2003.

[pic 2]

Figura 2 - Vários modelos de sites de busca (Fonte: Internet)

- TIPOS DE ROBÔS DE BUSCA E SEUS USOS

Os mecanismos de busca podem receber diversos tipos de nomenclaturas na literatura científica como, buscadores, ferramentas de busca, serviços de busca, motores de busca, atualmente mais conhecido como, “mecanismos de busca”.

No quadro 1, conseguimos identificar algumas categorias de buscadores.

Quadro 1 – Tipologia dos mecanismos de busca.

CATEGORIAS

CLASSIFICAÇÃO

EXEMPLOS

ANATOMIA

- Crawling (varrer);

- Indexing (indexar ou gerar o índice a partir da base de dados);

- Searching (buscar através da interface de busca).

FORMA GERAL DE ORGANIZAÇÃO OU INDEXAÇÃO

(indexing)

- Diretórios ou Catálogos;

- Programas ou robôs de Busca;

- Híbridos;

- Metabuscadores.

- Yahoo!

- Google

- Kartoo;

- Metacrawler.

ORDENAÇÃO DOS RESULTADOS

(searching)

- Localização/frequência do termo;

- Análise de links;

- Relevância.

- Google e todos;

- Google (autoridade e eixo);

- Cuil,

APRESENTAÇÃO DOS RESULTADOS

(searching)

- Agrupamento ou clusterização: Textual e Visual

- Especializados

- Personalizados

- Ontoweb

- Web Semântica

- Clusty

- Mooter

- North light

- Google Acadêmico

- Buscapé

- Google Earth

- Google Blog Search

- Fizy, Justhearit

- Windows Live Search

- A9

-