Show HN: Eu fiz o Google Trends para o Hacker News indexando 18 anos de comentários

Artigo original ↗ Discussão no Hacker News ↗

Recepção geral

  • Muitos comentaristas acham a ferramenta “muito legal”, útil e divertida de explorar.
  • Vários dizem que queriam exatamente isso para o HN, ou a comparam favoravelmente a ferramentas no estilo Google Trends / Ngram.
  • Alguns a acham decepcionante enquanto a busca está desativada ou os dados estão incompletos e dizem que voltarão mais tarde.

Fontes de dados e alternativas

  • O arquivo do HN é descrito como altamente valioso; foram compartilhados links para a API oficial do Firebase, um conjunto de dados no Hugging Face e um banco de dados público no ClickHouse espelhando o HN.
  • Alguns observam que o projeto funciona efetivamente como um motor especializado de busca/insight sobre o conteúdo do HN.

Problemas técnicos e desempenho

  • O site sofre repetidamente com “hug of death”: timeouts, erros 502/504 e rate limits do Upstash Redis Search de backend.
  • Em alguns momentos, dados após 2019 desaparecem, gráficos de “Who is Hiring?” não mostram dados e certas consultas falham ou se comportam mal.

Pedidos de recursos e feedback de UX

  • Pedidos comuns:
    • Normalizar tendências pelo volume total do HN / contagem de comentários ao longo do tempo.
    • Gráficos em altura total / tela cheia e mapeamento de cores consistente entre miniaturas e gráficos principais.
    • Clique em um pico para abrir a data correspondente na página inicial do HN.
    • Filtros para “Show HN”, “Who is Hiring?”, empresas ou categorias.
    • Melhor tratamento para consultas com várias palavras e palavras recém-indexadas.
  • Alguns relatam rolagem quebrada e dados confusos ou ausentes para exemplos específicos.

Ambiguidade, comportamento de busca e ideias de IA

  • Termos ambíguos (por exemplo, “atom”, “go”, “grunt”, “Fastly”, “C#”) podem distorcer tendências.
  • Há debate sobre agrupamento automático de sinônimos versus busca literal estrita; alguns querem categorias com IA, outros preferem fortemente operadores explícitos e opções de exclusão.
  • Sugestões incluem:
    • Análise de sentimento sobre pessoas/empresas e tendências em sentimento positivo vs. negativo.
    • Indexação baseada em embeddings para desambiguar tópicos.
    • Descoberta automática de tendências emergentes sem especificar palavras-chave.

Debate jurídico e de licenciamento

  • Uma discussão paralela questiona se republicar dados do HN (por exemplo, via conjuntos de dados públicos) é permitido pelos termos do HN.
  • Comentaristas discordam sobre se o licenciamento da API / do conjunto de dados cobre o conteúdo em si; o desfecho permanece sem resolução no tópico.