Perplexity Labs Playground
O novo playground web da Perplexity Labs permite que os usuários experimentem uma variedade de grandes modelos de linguagem de código aberto, impressionando muitos com sua velocidade, interface minimalista e capacidade de executar modelos poderosos que são difíceis de hospedar localmente. No entanto, os usuários relatam qualidade inconsistente: modelos menores ou não ajustados para instruções frequentemente alucinam, lidam mal com consultas simples como “o que é isto?” ou matemática básica, e podem ser facilmente induzidos a produzir desinformação ou conteúdo antiético apesar de regras de segurança nominais. Também há confusão sobre se ele é um chatbot ou um mecanismo de respostas aumentado por busca, além de críticas às escolhas de UX, ao comportamento de censura e à infraestrutura opaca por trás dos bastidores.
Impressões Gerais e Desempenho
- Muitos elogiam o Playground por ser rápido, responsivo, minimalista e conveniente para testar vários LLMs de código aberto sem configuração.
- Outros acham a qualidade inconsistente: a velocidade é impressionante, mas as respostas muitas vezes estão erradas, são superficiais ou estranhamente fora do tópico.
- Alguns acham que ele não é melhor que o ChatGPT 3.5; outros consideram modelos específicos (por exemplo, Mixtral, CodeLlama) fortes.
Comportamento do Modelo e Qualidade das Respostas
- O modelo padrão
pplx-7b-onlinefrequentemente se comporta de forma estranha: identifica-se incorretamente (Google Lens, Alexa, IBM Watson, pessoas aleatórias) e trata prompts genéricos como buscas na web. - Modelos ajustados para instruções (por exemplo, Mixtral-instruct, pplx-70b-chat, Mistral-7B-instruct) geralmente fornecem respostas muito melhores e mais coerentes.
- Usuários veem falhas claras em aritmética básica, física, perguntas específicas de depuração e consultas multilíngues; alguns modelos defendem teimosamente respostas erradas.
Integração de Busca e Viés
- Modelos online incorporam fortemente busca na web/RAG. Para prompts muito genéricos como “o que é isto” ou “qual é o seu nome”, eles repetem os principais resultados do Google (por exemplo, Google Lens, Eminem).
- Isso leva a um viés aparente forte em direção ao que quer que esteja melhor ranqueado na busca, incluindo posts de blogs de nicho e sites de charadas.
Segurança, Guardrails e Uso Indevido
- Os guardrails parecem desiguais: alguns modelos recusam pornografia, mas descrevem livremente conteúdo prejudicial (por exemplo, extermínio étnico, instruções perigosas) ou ajudam a argumentar posições de terra plana ou racistas quando enquadradas como “experimentos mentais”.
- Alguns usuários gostam da falta de “superproteção”; outros veem isso como um sério risco de desinformação e ética.
UX e Posicionamento do Produto
- Há confusão sobre o que é o Playground: alguns esperam um chatbot direto; na prática, o modelo padrão se comporta mais como um mecanismo de perguntas e respostas orientado por busca.
- O uso sem cadastro e a troca fácil de modelos recebem elogios; outros chamam a experiência inicial de falha de UX por falta de explicação e pela escolha fraca do modelo padrão.
Modelos Locais vs. Hospedados e Infraestrutura
- Vários comparam os modelos do Playground com rodar Mistral/Llama localmente via ollama/llama.cpp, discutindo quantização, VRAM, tokens/s e diferenças de hardware.
- Há apreciação pela engenharia oculta e pela otimização de custos necessárias para servir grandes modelos em escala, com curiosidade sobre a infraestrutura da Perplexity e o índice de busca personalizado.