**A infância dos motores de busca na Web: A influência da privacidade na evolução dos motores de busca?**.

[Stephenaddic]

Como a crescente preocupação com a privacidade dos usuários pode moldar o futuro dos motores de busca, levando em consideração que as práticas de coleta de dados e rastreamento foram essenciais para seu desenvolvimento inicial? Será que estamos caminhando para um retorno à simplicidade e anonimato, similar ao que vimos nos primórdios da Web?",
"refusal

[hrcerq]

Caro colega.

Ainda vejo essa preocupação como algo bem de nicho mesmo. Mas se exerce alguma influência sobre os motores? Eu diria que sim.

as práticas de coleta de dados e rastreamento foram essenciais para seu desenvolvimento inicial?

Será mesmo que foram? Nesse ponto eu tendo a discordar. A Google mesmo, inicialmente tinha uma política de redirecionar o usuário o mais rápido possível para algo que estava buscando, e isso foi uma das características que popularizou o motor nos anos 90/2000.

O artigo a seguir resgata esse ponto:

The Internet Isn’t Meant To Be So Small

Em 2004, Larry Page foi perguntado sobre usar um modelo de negócio similar ao do YAHOO ou AOL, com um portal que mantem o usuário conectado ao serviço por mais tempo, e ele respondeu (em tradução livre):

Criamos nosso negócio em um sentido oposto. Queremos que você venha ao Google e rapidamente encontre o que procura. Então ficaremos felizes em redirecioná-lo a outros sites. E aliás, esse é o ponto. A estratégia de portal tenta controlar toda a informação.

Ou seja, o que foi realmente decisivo para o serviço se popularizar foi um pensamento contrário ao que eles tem hoje. E que aliás, só tem feito o serviço ficar cada vez pior.

O artigo a seguir não é muito confortável de ler, mas é super informativo também sobre um problema que está afligindo motores de busca hoje em dia, que é o jogo que toda uma indústria tenta fazer para aparecer nas pesquisas, e mais recentemente os lixos gerados por inteligência artificial que se infiltram nos resultados.

How bad are search results? Let's compare Google, Bing, Marginalia, Kagi, Mwmbl, and ChatGPT

É claro que construir um motor de busca não é trivial, nem tanto pela tecnologia envolvida, mas principalmente pela escala disso que demanda um motor de processamento bastante robusto, e consome bastante banda de rede, na busca por conteúdo indexável.

Algumas estratégias podem amenizar isso, mas no geral não é algo barato de se fazer. E quando entramos no quesito financiamento é que surgem os problemas, pois alguns provedores escolheram justamente sacrificar a privacidade para, com os dados que obtem, custear a implementação e manutenção das rotinas de indexação.

[hrcerq]

Ainda sobre estarmos voltando para um modelo mais simples eu diria o seguinte... nunca saímos dele. Ou melhor, algumas pessoas nunca saíram. Antes da popularização dos motores de busca, era muito comum o uso de diretórios de endereços. Esses diretórios eram geralmente organizados em páginas Web que classificavam outras páginas quanto a assuntos abordados, temas, formatos, autores, etc.

O que os motores de busca fizeram inicialmente, inclusive, foi justamente varrer esses diretórios, pois isso é muito mais simples que sair varrendo toda a Web passando de link em link. Esses diretórios já concentravam boa parte dos links então ficava mais fácil agregar o conteúdo a partir deles. Muitos eram fechados e tinham "catracas" de acesso (entenda-se uma tarifa).

Porém muitos eram também desenvolvidos abertamente e com contribuições voluntárias, e penso que esse modelo de busca funciona de modo semelhante a uma biblioteca, algo que pode envelhecer o quanto for, mas por sua eficiência nunca fica velho o bastante para ser extinto.

Além disso, existem sim alguns motores de busca de nicho, como Wiby, Gigablast e Marginalia, e até alguns comerciais mas com alguma preocupação mínima com privacidade, como o DuckDuckGo (há controvérsias, mas eu diria que um mínimo tem), Mojeek e Stract.

Isso para não falar em mecanismos de meta-pesquisa, como o Startpage que usa os resultados do Google, mas possui uma camada de abstração pra filtrar a coleta de dados.