Nuestros entrevistas de ingeniería de software están cambiando un poco

La entrada del blog de una firma de trading de alto perfil sobre ajustar sus entrevistas de ingeniería de software para la era de los LLM provoca un debate sobre qué debería medir la contratación técnica moderna. Los comentaristas discuten si se debe permitir o incluso esperar el uso de IA en las rondas de programación, cómo evaluar la comprensión genuina frente a la simple ejecución de prompts y si las preguntas tradicionales estilo leetcode o los “conceptos básicos” de git siguen teniendo sentido. Otros señalan las frecuentes apariciones recientes de la empresa en Hacker News y se preguntan si eso refleja interés orgánico, marketing deliberado orientado al reclutamiento o una simple agrupación estadística de publicaciones.

Percepción de la presencia de Jane Street en HN

  • Muchos notan un aumento inusual de publicaciones sobre Jane Street, incluidas varias historias en la página principal en la misma semana.
  • Algunos sospechan marketing deliberado o astroturfing, especialmente para atraer talento de ingeniería.
  • Otros sostienen que es el normal “halo effect” y Baader–Meinhof: más visibilidad lleva a más votos positivos; los datos muestran menciones en aumento constante durante varios años.
  • El alto salario de Jane Street, su reputación “élite”, el uso de OCaml y sus charlas técnicas se ven como grandes atractivos para los lectores de HN.

Reacciones a la publicación sobre los cambios en las entrevistas

  • Varios lectores encuentran la entrada del blog vaga y con pocos detalles; algunos la ven como contenido de reclutamiento apenas velado.
  • Otros piensan que la flexibilidad respecto al uso de LLM en las entrevistas es razonable dado que los flujos de trabajo cambian y que los formatos de entrevista deben adaptarse.

Cómo entrevistar en la era de los LLM

  • Muchos argumentan que el live-coding tradicional / leetcode ahora tiene aún menos sentido, ya que los LLM pueden resolver esos problemas fácilmente.
  • Entre las alternativas propuestas están:
    • Permitir que los candidatos usen LLM, pero exigir una explicación profunda del código generado.
    • Centrarse en arquitectura/diseño de sistemas, depuración, revisión de código y capacidad para guiar o corregir a un LLM.
    • Usar intencionalmente un LLM más débil o propenso a errores para evaluar si los candidatos detectan y corrigen problemas.
  • Algunos prevén que las entrevistas futuras evaluarán habilidades de “orquestación de IA”: fijar objetivos, barandillas, verificación y flujos de trabajo alrededor de agentes.

Debates sobre herramientas: Git, PRs y dependencia de LLM

  • Larga subdiscusión sobre pedir a los candidatos que abran un PR como prueba de “conocimientos básicos de git”.
  • Se objeta que los PRs son sobre plataformas de alojamiento, no sobre git en sí; muchos desarrolladores capaces rara vez usan PRs o forjas específicas.
  • Hay una división más amplia entre quienes insisten en que los ingenieros deben conocer las operaciones básicas de git y quienes ven bien la asistencia de LLM/IDE para tareas poco frecuentes.

Críticas más amplias a las entrevistas y la contratación

  • Varios comentarios cuestionan si alguno de estos rituales de entrevista se basa en evidencia o predice el desempeño laboral.
  • Algunos abogan por entrevistas conversacionales más simples o por breves periodos de prueba en lugar de procesos elaborados de varias rondas.