Show HN: Eu fiz o Google Trends para o Hacker News indexando 18 anos de comentários

Artigo original ↗ Discussão no Hacker News ↗

Um projeto independente indexou 18 anos de posts e comentários do Hacker News para criar uma ferramenta no estilo “Google Trends” que mostra com que frequência termos específicos aparecem ao longo do tempo, revelando mudanças de interesse em linguagens de programação, empresas, tecnologias e memes. Os usuários elogiam o design e o valor exploratório, ao mesmo tempo em que pedem frequentemente normalização pelo volume total do site, análise de sentimento, melhor tratamento de termos ambíguos e filtros para coisas como “Who is hiring?” ou posts Show HN. O alto tráfego sobrecarregou temporariamente o backend, e alguns comentaristas também debatem licenciamento de dados e o quanto essa ferramenta pode ou deve espelhar o Google Trends versus a análise textual no estilo n-gram.

Recepção geral

  • Muitos comentaristas acham a ferramenta “muito legal”, útil e divertida de explorar.
  • Vários dizem que queriam exatamente isso para o HN, ou a comparam favoravelmente a ferramentas no estilo Google Trends / Ngram.
  • Alguns a acham decepcionante enquanto a busca está desativada ou os dados estão incompletos e dizem que voltarão mais tarde.

Fontes de dados e alternativas

  • O arquivo do HN é descrito como altamente valioso; foram compartilhados links para a API oficial do Firebase, um conjunto de dados no Hugging Face e um banco de dados público no ClickHouse espelhando o HN.
  • Alguns observam que o projeto funciona efetivamente como um motor especializado de busca/insight sobre o conteúdo do HN.

Problemas técnicos e desempenho

  • O site sofre repetidamente com “hug of death”: timeouts, erros 502/504 e rate limits do Upstash Redis Search de backend.
  • Em alguns momentos, dados após 2019 desaparecem, gráficos de “Who is Hiring?” não mostram dados e certas consultas falham ou se comportam mal.

Pedidos de recursos e feedback de UX

  • Pedidos comuns:
    • Normalizar tendências pelo volume total do HN / contagem de comentários ao longo do tempo.
    • Gráficos em altura total / tela cheia e mapeamento de cores consistente entre miniaturas e gráficos principais.
    • Clique em um pico para abrir a data correspondente na página inicial do HN.
    • Filtros para “Show HN”, “Who is Hiring?”, empresas ou categorias.
    • Melhor tratamento para consultas com várias palavras e palavras recém-indexadas.
  • Alguns relatam rolagem quebrada e dados confusos ou ausentes para exemplos específicos.

Ambiguidade, comportamento de busca e ideias de IA

  • Termos ambíguos (por exemplo, “atom”, “go”, “grunt”, “Fastly”, “C#”) podem distorcer tendências.
  • Há debate sobre agrupamento automático de sinônimos versus busca literal estrita; alguns querem categorias com IA, outros preferem fortemente operadores explícitos e opções de exclusão.
  • Sugestões incluem:
    • Análise de sentimento sobre pessoas/empresas e tendências em sentimento positivo vs. negativo.
    • Indexação baseada em embeddings para desambiguar tópicos.
    • Descoberta automática de tendências emergentes sem especificar palavras-chave.

Debate jurídico e de licenciamento

  • Uma discussão paralela questiona se republicar dados do HN (por exemplo, via conjuntos de dados públicos) é permitido pelos termos do HN.
  • Comentaristas discordam sobre se o licenciamento da API / do conjunto de dados cobre o conteúdo em si; o desfecho permanece sem resolução no tópico.