Show HN: Você está nos pesos?
Recepção geral
- Muitos acham o site divertido, bom para inflar o ego e visualmente atraente (estética retrô/8‑bit, conceito engenhoso).
- Outros o veem como uma armadilha de privacidade ou como uma demonstração instrutiva, mas preocupante, do comportamento de LLMs.
Precisão, alucinações e colisões de identidade
- As experiências variam de resumos assustadoramente precisos (especialmente para sobrenomes únicos, colaboradores de software livre, acadêmicos ou handles usados há muito tempo) a fabricações completas.
- Mesmo pessoas com nomes globalmente únicos часто são descritas como políticos, pesquisadores de segurança ou, de forma especialmente frequente, atletas profissionais e artistas.
- Pseudônimos e handles online mantidos por muito tempo às vezes são reconhecidos com mais precisão do que nomes legais.
- A seção de “alucinações” é imperfeita: algumas descrições muito certeiras aparecem rotuladas como alucinações, enquanto muitas erradas aparecem na seção principal.
Maus e difamatórios erros de identificação
- Vários usuários são incorretamente rotulados como terroristas, assassinos, extremistas ou vítimas de crimes.
- Alguns observam que, para nomes árabes ou incomuns, a ferramenta muitas vezes os confunde com indivíduos sancionados ou bombardeiros.
- Comentadores consideram esses falsos positivos “assustadores”, especialmente diante de relatos de que LLMs podem ser usados em decisões militares ou de segurança.
Pontuação, modelos e agrupamento
- “Strength” é explicado como uma combinação linear da confiança autorrelatada do modelo mais bônus por concordância entre modelos; comentadores observam que a confiança de LLMs é mal calibrada.
- O percentil (“Top N%”) é relativo a todas as consultas até agora, não à população mais ampla.
- Um agrupador mescla as saídas dos modelos em entidades e decide o que é alucinação, otimizado para recall em vez de precisão, levando a muitas classificações incorretas.
- Os detalhes de prompt são compartilhados; todos os modelos usam o mesmo prompt em JSON בלבד “Who is
?”. O agrupamento roda em um modelo mais barato.
Privacidade e tratamento de dados
- Crítica forte de que todas as consultas (incluindo nomes reais) eram listadas publicamente por um leaderboard de “latest” e acessíveis via API; depois isso foi parcialmente mitigado, mas os dados continuam amplamente acessíveis.
- A falta de uma política de privacidade clara e a presença de checagens de rastreamento/Cloudflare levantam suspeitas sobre coleta de IP/nome.
- Vários argumentam que se deve assumir que qualquer texto enviado a sites aleatórios será armazenado e reutilizado, possivelmente em futuros conjuntos de treinamento.
UX, custo e design
- Elogiado pelo design e pelos retratos (gerados por um modelo de imagem), mas alguns relatam bugs de entrada, sons intrusivos e erros de limite de taxa sob carga.
- Rodar muitos modelos de fronteira e menores por consulta é reconhecido como caro; o autor descreve isso como um “fun hack and science experiment” não comercial.
Reflexões mais amplas
- O tópico toca em “estar nos pesos” como uma forma de imortalidade digital esquisita e levanta questões sobre o direito de ser esquecido.
- Alguns ficam aliviados por não aparecerem de forma alguma; outros observam como é difícil manter a identidade da vida real separada dos rastros online depois que modelos ingerem dados públicos.