Testando quão difícil é trapacear com ChatGPT em entrevistas
Muitos engenheiros e gestores de contratação estão lidando com a facilidade com que candidatos podem usar ChatGPT e ferramentas semelhantes para passar em entrevistas técnicas, especialmente testes de codificação no estilo Leetcode. As opiniões se dividem entre aqueles que veem o uso não divulgado de LLMs como trapaça em um contexto de “livro fechado” e aqueles que argumentam que as entrevistas deveriam espelhar o trabalho real, onde Google, Stack Overflow e assistentes de IA são ferramentas padrão. Um tema recorrente é que as empresas precisarão redesenhar as entrevistas — focando mais em raciocínio, revisão de código e tarefas do mundo real, e seja permitindo e observando explicitamente o uso de IA, seja criando perguntas que testem entendimento além do que um LLM pode fornecer de forma confiável.
Papel das ferramentas (ChatGPT, Google, Stack Overflow) em entrevistas
- Muitos argumentam que as entrevistas deveriam espelhar o trabalho real, onde procurar informações e usar LLMs é normal.
- Outros dizem que as entrevistas são “provas” deliberadamente limitadas para medir competência subjacente, não a capacidade de consultar ferramentas.
- Algumas empresas permitem explicitamente Google/LLMs e avaliam como os candidatos os usam; outras tratam qualquer uso não divulgado de ferramentas como trapaça.
- Uma sugestão recorrente: se uma ferramenta consegue resolver sua pergunta trivialmente, a pergunta foi mal projetada para avaliação.
Expectativas de livro aberto vs. livro fechado e honestidade
- Vários comentaristas favorecem entrevistas de “livro aberto”: candidatos podem usar documentação, busca na web e até LLMs, mas isso deve ser explícito.
- Há uma ênfase forte de que, se a entrevista é apresentada como livro fechado, usar ChatGPT secretamente é visto como desonesto, independentemente da competência.
- Alguns veem isso como moralismo excessivo, argumentando que processos de entrevista quebrados incentivam “jogar o jogo” e que bons candidatos ainda assim podem recorrer a ferramentas.
- Outros enfatizam que a disposição de mentir em uma entrevista já é um sinal desqualificante de confiabilidade.
Projetando entrevistas resistentes a LLMs ou conscientes de LLMs
- Sugestões para tarefas resistentes a LLMs:
- Questões customizadas de DS&A que não estejam online.
- Depuração ou modificação de código não trivial, possivelmente com bugs (incluindo código gerado por LLM).
- Tarefas realistas em uma base de código existente, seguidas de discussão sobre trade-offs e design.
- Questões cujo “truque” esteja em pequenos detalhes que os LLMs frequentemente ignoram.
- Visão contrária: em vez de lutar contra LLMs, integrá-los explicitamente e avaliar como os candidatos formulam prompts, criticam e corrigem a saída do modelo.
Leetcode, fundamentos e o que as entrevistas deveriam medir
- Alguns sustentam que perguntas de DS&A / Big-O, quando feitas de maneira razoável, ainda são o melhor filtro em massa contra quem “não sabe programar de jeito nenhum.”
- Outros acham isso humilhante para engenheiros experientes e, em grande parte, irrelevante para o trabalho típico de CRUD.
- Muitos propõem uma mistura: verificações básicas de programação, além de design, revisão de código e “papo de oficina” para sondar profundidade, raciocínio e experiência.
Remoto vs. presencial e detecção de trapaça
- Entrevistadores relatam sinais óbvios de trapaça em entrevistas remotas (tom de leitura, reflexos na tela, “selecionar tudo”, pausas estranhas), mas admitem viés de seleção: os trapaceiros sutis passam despercebidos.
- Alguns preveem mais sessões presenciais ou rigidamente monitoradas (compartilhamento de tela, um único monitor, gravação) como resposta.
- Há ceticismo de que essa corrida armamentista seja sustentável; outros a veem como inevitável.