O aplicativo matador do Gemini Pro 1.5 é usar vídeo como entrada
O modelo Gemini Pro 1.5 do Google pode aceitar entradas longas de vídeo, amostrando-as como quadros de imagem (cerca de um quadro por segundo, a ~258 tokens cada), permitindo tarefas como indexar uma estante a partir de um vídeo curto de celular em vez de entrada manual de dados ou OCR tradicional. Os comentaristas o comparam ao GPT-4 Vision, investigam como tokens de vídeo e imagem realmente funcionam e debatem precisão, alucinações, custo e a praticidade de usar esses sistemas para moderação ou automação. Um grande pano de fundo é a preocupação com privacidade e vigilância: quando fluxos de vídeo podem ser entendidos de forma barata e em escala, tudo, desde “assistentes de memória” pessoais até panópticos estatais e corporativos, se torna muito mais viável.
Como o Gemini 1.5 Lida com Vídeo
- O vídeo é, na prática, tratado como uma sequência de imagens; a documentação e o relatório indicam que cerca de 1 quadro/segundo é extraído, com o áudio descartado.
- Um exemplo de filme de 45 minutos no relatório: 2.674 quadros a 1 FPS ≈ 684 mil tokens; o custo por quadro corresponde ao uso de tokens de uma única imagem.
- Vários comentaristas confirmam a matemática de tokens: ~258 tokens por imagem, ~1.800 tokens para um clipe de 7s ⇒ ~7 quadros ≈ 1 FPS.
- Há menção a segmentação de cenas e indexação para vídeos mais longos, mas os detalhes são do nível de ferramenta e não são totalmente descritos.
Tokens, Codificação Multimodal e Confusão
- Várias pessoas têm dificuldade em entender como “tokens” se aplicam a imagens/vídeo.
- Um grupo argumenta que as imagens são convertidas em texto descritivo antes de entrar no LLM; outro cita artigos do Google (Flamingo, PaLI, modelos no estilo ViT) dizendo que as imagens são tokenizadas como patches visuais, não por meio de uma etapa externa de OCR.
- Consenso: a cobrança é expressa em “tokens” para familiaridade do usuário, mas os tokens internos de imagem não são os mesmos que tokens de texto; o mapeamento interno exato não está claro.
Comparação com GPT-4V e OCR Clássico
- O relatório afirma que o Gemini 1.5 pode processar até uma hora de vídeo a 1 FPS, enquanto o GPT-4V supostamente apresenta erro em torno de 3–4 minutos a 1 FPS.
- O custo por quadro parece ser menor do que o do GPT-4V em alta definição.
- Muitos observam que a indexação de estantes é, essencialmente, OCR sofisticado mais contexto longo. Os defensores dizem que a novidade é a escala + o raciocínio multimodal; os céticos dizem que pipelines parecidos (quadros + OCR + LLM) já são possíveis com outras ferramentas.
Casos de Uso e Aplicações
- Usos sugeridos: indexar estantes pessoais, compreensão de vídeo para analytics, moderação de conteúdo, reconhecimento de tráfego/placas, assistentes de fluxo de trabalho que “observam” sua tela, monitoramento de postura, aprendizado de idiomas, logs pessoais de “memória perfeita”.
- Alguns veem isso como um “aplicativo matador” para transformar rapidamente visuais do mundo real, desorganizados, em dados estruturados.
Segurança, Moderação e Censura
- Crítica forte a filtros de segurança excessivamente agressivos (por exemplo, bloquear “cocktail”, termos sexuais, algumas imagens históricas).
- Debate sobre se esses guardrails são necessários ou se seria melhor oferecer modos menos filtrados.
- Prompt injection via vídeo é apontado como uma preocupação real.
Privacidade, Vigilância e Impacto Social
- Há preocupação extensa de que a compreensão barata e escalável de vídeo destrói a privacidade prática e fortalece enormemente a vigilância estatal e corporativa (protestos, perfilamento de consumidores, aplicação da lei).
- Alguns aceitam mais vigilância por segurança (por exemplo, fiscalização de trânsito); outros argumentam que isso mina a democracia e o protesto.
Ceticismo e Limitações
- Erros em títulos de livros extraídos e alucinações reduzem a confiança para usos arquivísticos/críticos; muitos veem os LLMs como aceleradores que exigem revisão humana.
- Debate sobre se os LLMs atuais são brinquedos ou ferramentas sérias de automação; vários observam que eles já podem substituir tarefas humanas restritas em escala, apesar de taxas de erro não nulas.