Quão grande é o YouTube?

Artigo original ↗ Discussão no Hacker News ↗

Pesquisadores usaram uma técnica engenhosa de amostragem — tratando os IDs de vídeo de 64 bits do YouTube como um enorme espaço de endereços e sondando-o aleatoriamente — para estimar que há cerca de 13 bilhões de vídeos públicos na plataforma, permitindo inferências aproximadas sobre visualizações, idiomas e necessidades de armazenamento em escala de exabytes. Os comentaristas examinam as premissas estatísticas desse método, debatem como a alocação de IDs, o comportamento de autocomplete e “truques” podem enviesar os resultados, e o comparam a técnicas de marcação-recaptura na ecologia. O tópico também deriva para preocupações com sistemas opacos de recomendação, acesso mais restrito a APIs após escândalos de privacidade e se plataformas grandes deveriam ser obrigadas a publicar estatísticas agregadas para pesquisa sobre desinformação e influência da mídia.

Método de Estimação e Raciocínio Estatístico

  • A discussão se concentra em uma técnica engenhosa de amostragem para estimar o total de vídeos do YouTube, sondando o espaço de IDs e medindo a taxa de acerto.
  • Vários comentários relacionam isso a marcação-recaptura, problemas de espécies não observadas, Monte Carlo e ao problema do tanque alemão.
  • Várias pessoas argumentam que o estimador não exige que os IDs de vídeo sejam distribuídos uniformemente; desde que as sondagens sejam uniformes sobre o verdadeiro espaço de IDs, a probabilidade de acerto é igual a “IDs atribuídos / total de IDs.”
  • Outros se preocupam inicialmente com IDs enviesados ou estruturados; as respostas percorrem pequenos exemplos didáticos mostrando que o agrupamento não altera a probabilidade de acerto.
  • Um comentarista calcula um desvio-padrão implícito inferior a 1% da estimativa, argumentando que o método é estatisticamente bastante preciso dado o enorme tamanho efetivo da amostra.

“Truques”, Independência e Vieses

  • O principal “truque” é usar a insensibilidade a maiúsculas/minúsculas da busca do YouTube e cadeias OR de IDs aleatórios para que cada consulta cubra ~32.000 IDs reais.
  • Preocupações: isso pode superamostrar IDs que contêm letras em vez de dígitos/símbolos, e depende do mecanismo de busca retornar todas as correspondências; também exclui vídeos privados e, na prática, não listados.
  • Alguns temem que esses truques quebrem a independência ou tornem a amostra não aleatória; outros acham o efeito pequeno e que uma força bruta seria computacionalmente inviável.
  • Há especulação sobre como o YouTube poderia frustrar esses estudos (redirecionamentos aleatórios, resultados falsos, ocultar buscas por hashes aleatórios), mas vários observam que essas contramedidas seriam caras e frequentemente detectáveis.

Implicações, Acesso e Regulação

  • Alguns argumentam que plataformas tão grandes são quase utilidades públicas e deveriam ser legalmente obrigadas a publicar estatísticas agregadas (por exemplo, dislikes, alcance) para supervisão democrática.
  • Outros contrapõem que o YouTube tem concorrentes e que os reguladores deveriam focar em privacidade, antitruste e regras de conteúdo, não em divulgação compulsória de dados.
  • Vários veem o bloqueio de APIs (após Cambridge Analytica e, de forma mais ampla, como parte da “morte da web aberta”) e elogiam a pesquisa baseada em scraping como solução alternativa.
  • São destacados como importantes os dispositivos do Digital Services Act da UE que exigem acesso a dados para pesquisadores verificados, mas potencialmente enviesados pela “verificação”.

Escala, Armazenamento e Impacto do YouTube

  • Usando a contagem estimada de vídeos e suposições aproximadas de bitrate/duração, comentaristas derivam necessidades de armazenamento de vários exabytes, com alguns argumentando que os requisitos reais (múltiplos codecs, resoluções, replicação, originais) provavelmente levam o YouTube para dezenas ou até ~100 exabytes.
  • Há uma discussão paralela sobre codecs (H.264, VP9, AV1, HEVC), uploads originais e se os originais são mantidos.
  • Um link apresenta emissões de toda a Google na ordem de 10 milhões de toneladas de CO₂/ano, o que alguns consideram impressionante para uma única empresa.

Experiência do Usuário e Recomendações

  • Vários usuários relatam que a busca e as recomendações parecem “encolhidas” apesar do tamanho vasto do YouTube: feeds iniciais repetitivos, conteúdo “Para Você” irrelevante e dificuldade para descobrir a cauda longa.
  • Soluções alternativas incluem usar filtros na busca e depender da página de inscrições; alguns usam scripts para evitar o feed inicial.
  • Outros observam que, do ponto de vista do YouTube, é mais barato se todos assistirem repetidamente a um pequeno subconjunto, criando uma tensão entre descoberta e monetização.

Diversos

  • O tópico menciona o site público de estatísticas que o acompanha e um conjunto separado de dados de “dislikes do YouTube” como recursos valiosos de pesquisa.
  • Um único comentário extremamente conspiratório sobre uma “Aliança” eliminando “plataformas comunistas” é amplamente ridicularizado, inclusive pelo uso excêntrico de ponto e vírgula, e usado para ilustrar como crenças marginais vazam para discussões convencionais.