Tell HN: GPT copilots não são tão bons para programação
Assistentes de codificação por IA como GitHub Copilot e ChatGPT são amplamente vistos como úteis para boilerplate, autocomplete e aprendizado de ferramentas ou frameworks desconhecidos, mas muito menos confiáveis para tarefas de programação complexas ou em grande escala. Muitos programadores relatam ganhos modestos de produtividade compensados por problemas como APIs alucinadas, bugs sutis, entendimento limitado do contexto do projeto e preocupações com qualidade do código e plágio. Há um amplo consenso de que essas ferramentas funcionam melhor como सहायdas para desenvolvedores experientes e tarefas rotineiras, com esperança de que uma integração mais profunda com a base de código e garantias mais fortes de correção possam desbloquear benefícios mais transformadores no futuro.
Sentimento geral sobre copilots GPT para programação
- Muitos consideram os copilots e LLMs baseados em chat decepcionantes para tarefas de programação complexas ou novas.
- São amplamente vistos como “autocomplete com esteroides” em vez de verdadeiros resolvedores de problemas ou substitutos para desenvolvedores experientes.
- As opiniões variam de “transformador” a “simplesmente não útil”, dependendo muito do caso de uso, das expectativas e da habilidade do usuário.
Onde funcionam bem
- Código repetitivo / boilerplate:
- Completar padrões óbvios, mapear estruturas de dados semelhantes, criar esqueletos de funções simples, scripts básicos e testes unitários.
- Gerar consultas SQL simples, comandos shell, configs Docker/Nginx ou scripts pontuais e tarefas de tratamento de dados.
- Aprendizado e exploração:
- Perguntas rápidas do tipo “como faço X em linguagem/biblioteca Y?”.
- Obter exemplos idiomáticos, desambiguar documentação ou resumir novos frameworks/tecnologias.
- Atuar como um “patinho de borracha” sem julgamentos para discussões de arquitetura ou domínios desconhecidos.
- Tarefas de admin / infra:
- Troubleshooting de Linux a partir de logs, configuração básica de cloud/devops ou explicação de APIs/ferramentas.
Onde falham ou são arriscados
- Código complexo, em grande escala ou altamente novo:
- São fracos em raciocínio profundo, arquitetura ou algoritmos intrincados; frequentemente produzem código que compila mas está errado, ou que nem compila.
- Têm dificuldade com SQL complexo, casos extremos de injeção de dependência, bibliotecas especializadas ou ML/compiladores avançados.
- Alucinações e falsa autoridade:
- Inventam APIs, métodos ou até bibliotecas inteiras; às vezes erram com confiança sobre recursos de linguagem ou banco de dados.
- Correções de ida e volta muitas vezes degradam a qualidade; reiniciar sessões é uma solução comum.
- Qualidade e manutenção do código:
- Risco de bugs sutis, problemas de segurança e código repetitivo não-DRY.
- Algumas equipes relatam nenhum ganho de produtividade e código pior; outras veem aumentos modestos (5–40%), mas enfatizam revisão cuidadosa.
Impacto por nível de experiência
- Desenvolvedores experientes:
- O maior valor vem quando já sabem o que querem e conseguem revisar a saída; usam para trabalho braçal e pesquisa.
- Alguns se sentem significativamente mais produtivos; outros veem apenas ganhos marginais.
- Iniciantes / não desenvolvedores:
- Conseguem entregar pequenos projetos ou scripts que de outra forma não conseguiriam, mas podem aprender menos fundamentos e ter dificuldade para detectar erros.
- Vários argumentam que copilots podem ser até prejudiciais para iniciantes reais que não conseguem validar os resultados.
Preocupações com modelos, qualidade e ecossistema
- Alguns relatam que o GPT‑4 supera o GPT‑4 Turbo e o 3.5, e observam regressões percebidas de qualidade ao longo do tempo.
- Limites de janela de contexto e falta de compreensão profunda do projeto são dores recorrentes; ferramentas que prometem contexto de toda a base de código são vistas como próximos passos promissores.
- Preocupações éticas e legais sobre dados de treinamento, plágio e dependência excessiva corporativa de IA, incluindo possíveis impactos em contratação e moral.