Nossas entrevistas de engenharia de software estão mudando um pouco

Uma postagem de blog de uma firma de trading de alto perfil sobre ajustes em suas entrevistas de engenharia de software para a era dos LLMs provoca debate sobre o que a contratação técnica moderna deveria medir. Os comentaristas discutem permitir ou até esperar o uso de IA em rodadas de programação, como testar entendimento genuíno versus uso de prompts, e se perguntas tradicionais no estilo leetcode ou “noções básicas” de git ainda fazem sentido. Outros observam as frequentes aparições recentes da empresa no Hacker News, questionando se isso reflete interesse orgânico, marketing deliberado voltado ao recrutamento ou simplesmente um agrupamento estatístico de posts.

Percepção da presença da Jane Street no HN

  • Muitos notam um aumento incomum de posts sobre a Jane Street, incluindo múltiplas histórias na primeira página na mesma semana.
  • Alguns suspeitam de marketing deliberado ou astroturfing, especialmente para atrair talentos de engenharia.
  • Outros argumentam que é o normal “efeito halo” e Baader–Meinhof: mais visibilidade leva a mais upvotes; os dados mostram menções crescendo de forma constante ao longo de vários anos.
  • O alto salário da Jane Street, a reputação “de elite”, o uso de OCaml e as palestras técnicas são vistos como fortes atrativos para os leitores do HN.

Reações ao post sobre mudanças nas entrevistas

  • Vários leitores acham o post do blog vago e com poucos detalhes; alguns o veem como conteúdo de recrutamento mal disfarçado.
  • Outros acham razoável a flexibilidade em torno do uso de LLMs nas entrevistas, dado que os fluxos de trabalho estão mudando e os formatos de entrevista precisam se adaptar.

Como entrevistar na era dos LLMs

  • Muitos argumentam que o live-coding tradicional / leetcode agora é ainda menos significativo, já que os LLMs podem resolver esses problemas facilmente.
  • Alternativas propostas incluem:
    • Permitir que os candidatos usem LLMs, mas exigir uma explicação profunda do código gerado.
    • Focar em arquitetura/design de sistemas, depuração, revisão de código e na capacidade de orientar ou corrigir um LLM.
    • Usar intencionalmente um LLM mais fraco ou propenso a erros para testar se os candidatos detectam e corrigem problemas.
  • Alguns preveem que futuras entrevistas testarão habilidades de “orquestração de IA”: definir objetivos, guardrails, verificação e fluxos de trabalho em torno de agentes.

Debates sobre ferramentas: Git, PRs e dependência de LLMs

  • Longo subthread sobre pedir aos candidatos que abram um PR como teste de “noções básicas de git”.
  • Há reação contrária de que PRs dizem respeito a plataformas de hospedagem, não ao git em si; muitos devs competentes raramente usam PRs ou forges específicas.
  • Há uma divisão mais ampla entre pessoas que insistem que engenheiros devem conhecer as operações centrais do git e aquelas que veem o suporte de LLM/IDE como algo aceitável para tarefas pouco frequentes.

Críticas mais amplas a entrevistas e contratação

  • Vários comentários questionam se algum desses rituais de entrevista é baseado em evidências ou preditivo do desempenho no trabalho.
  • Alguns defendem entrevistas conversacionais mais simples ou períodos curtos de teste em vez de processos elaborados com várias rodadas.