Probando qué tan difícil es hacer trampa con ChatGPT en entrevistas
Muchos ingenieros y responsables de contratación están lidiando ahora con lo fácil que resulta para los candidatos usar ChatGPT y herramientas similares para superar entrevistas técnicas, especialmente pruebas de programación estilo Leetcode. Las opiniones se dividen entre quienes ven el uso no revelado de LLM como trampa en un contexto de “libro cerrado” y quienes argumentan que las entrevistas deberían reflejar el trabajo real, donde Google, Stack Overflow y los asistentes de IA son herramientas estándar. Un tema recurrente es que las empresas tendrán que rediseñar las entrevistas —centrándose más en el razonamiento, la revisión de código y tareas del mundo real, y permitiendo y observando explícitamente el uso de IA o creando preguntas que evalúen una comprensión que un LLM no pueda proporcionar de forma fiable.
Papel de las herramientas (ChatGPT, Google, Stack Overflow) en las entrevistas
- Muchos sostienen que las entrevistas deberían reflejar el trabajo real, donde buscar cosas y usar LLMs es normal.
- Otros dicen que las entrevistas son deliberadamente “exámenes” con restricciones para medir la competencia subyacente, no la capacidad de consultar herramientas.
- Algunas empresas permiten explícitamente Google/LLMs y evalúan cómo los candidatos los usan; otras tratan cualquier uso no revelado de herramientas como trampa.
- Una sugerencia recurrente: si una herramienta puede resolver trivialmente tu pregunta, la pregunta está mal diseñada para evaluar.
Expectativas de libro abierto vs. libro cerrado y honestidad
- Varios comentaristas prefieren entrevistas de “libro abierto”: los candidatos pueden usar documentación, búsquedas web e incluso LLMs, pero esto debe ser explícito.
- Se enfatiza mucho que, si la entrevista se plantea como de libro cerrado, usar ChatGPT en secreto se ve como deshonesto, independientemente de la competencia.
- Algunos consideran que esto es excesivamente moralizante y argumentan que los procesos de entrevista defectuosos incentivan “hacer trampa” con las reglas, y que incluso los buenos candidatos pueden recurrir a herramientas.
- Otros subrayan que la disposición a mentir en una entrevista ya es una señal descalificadora sobre la confiabilidad.
Diseñar entrevistas resistentes a LLM o conscientes de LLM
- Sugerencias para tareas resistentes a LLM:
- Preguntas personalizadas de DS&A que no estén en internet.
- Depurar o modificar código no trivial, posiblemente defectuoso, incluido código generado por LLM.
- Tareas realistas en una base de código existente, y luego discutir compensaciones y diseño.
- Preguntas cuyo “truco” esté en pequeños detalles que los LLM a menudo pasan por alto.
- Contrapunto: en lugar de luchar contra los LLM, integrarlos explícitamente y evaluar cómo los candidatos formulan prompts, critican y corrigen la salida del modelo.
Leetcode, fundamentos y qué deberían medir las entrevistas
- Algunos sostienen que las preguntas de DS&A / Big-O, bien hechas, siguen siendo el mejor filtro masivo contra quienes “no saben programar en absoluto”.
- Otros consideran esto humillante para ingenieros con experiencia y en gran medida ajeno al trabajo típico de estilo CRUD.
- Muchos proponen mezclar: comprobaciones básicas de programación más diseño, revisión de código y “charla de oficio” para examinar profundidad, razonamiento y experiencia.
Remoto vs. presencial y detección de trampas
- Los entrevistadores informan señales obvias de trampa en entrevistas remotas (tono al leer, reflejos en la pantalla, “seleccionar todo”, pausas extrañas), pero reconocen sesgo de selección: los tramposos sutiles pasan desapercibidos.
- Algunos prevén más sesiones presenciales o estrechamente supervisadas (pantalla compartida, un solo monitor, grabadas) como respuesta.
- Hay escepticismo sobre si esta carrera armamentista es sostenible; otros la ven inevitable.