Como as organizações usam IA: evidências do ChatGPT [pdf]
O novo artigo da OpenAI sobre como as organizações usam o ChatGPT está gerando reações mistas, com muitos criticando sua estrutura, o posicionamento das figuras e a pouca profundidade analítica, apesar dos dados de uso interessantes. Os comentaristas questionam se ele funciona mais como marketing do que como pesquisa, apontam a falta de ROI claro e mensurável para empresas e destacam a lacuna entre a adoção corporativa de cima para baixo e o uso espontâneo por profissionais individuais, como professores. Outros observam preocupações metodológicas e alertam que medir o volume de mensagens ou a “intensidade de uso” pode ser um proxy ruim para o impacto econômico real.
Comprimento, formato e gênero do artigo
- O PDF tem 69 páginas, mas o texto central tem cerca de 23 páginas em espaçamento duplo; o restante são figuras, tabelas e referências.
- Alguns dizem que “não é tão longo”, enquanto outros acham que o material de apoio acrescenta pouco.
- Debate sobre a formatação: coluna única, grande espaçamento entre linhas, figuras reunidas no final.
- Vários comentários observam que isso é padrão em working papers de economia / ciências sociais, não um “white paper” polido.
Qualidade percebida e rigor do estudo
- Críticas de que parece um “data dump” com análise significativa limitada.
- Reclamações de que as figuras principais ficam longe dos trechos em que são citadas, tornando a leitura e a checagem cruzada das alegações mais difíceis.
- Alguns descrevem a qualidade como a típica de um preprint; outros dizem que “é ruim”, especialmente as figuras.
Marketing, hype e motivações
- Suspeita de que laboratórios de IA de ponta usem esses artigos como marketing para stakeholders, em vez de pesquisa pura.
- Comparações com whitepapers de crypto/NFT: parece um anúncio incentivando a adoção para “descobrir para que serve”.
- Contestação de que alguns termos (por exemplo, “general purpose technology”) são jargão padrão da economia, não hype puro.
Uso real de IA em organizações e escolas
- Observações de que grandes empresas podem ter adoção mais formal por conta de controles de conformidade.
- Várias anedotas de professores usando o ChatGPT pessoalmente para criar planos de aula, slides, jogos e analisar dados de testes, com impacto positivo em sala de aula.
- Outros relatam professores que veem IA em sala como desonestidade ou algo semelhante a plágio e se recusam a usar.
Educação, desigualdade e tecnologia
- Longo subthread sobre como a tecnologia (incluindo IA) em escolas públicas pode corroer habilidades analíticas, em contraste com escolas privadas de elite enfatizando uma educação tradicional, rigorosa e de baixo uso de tecnologia.
- Contraexemplos em que programas públicos de imersão superam programas privados intensivos em tecnologia.
- Debate sobre se as diferenças vêm mais do financiamento, da origem familiar, dos pares ou da qualidade da administração.
Medindo ROI e impacto
- Alguns interpretam a mensagem implícita do artigo como: as empresas não têm ROI claro e mensurável; a adoção é inicial e as métricas ainda são imaturas.
- Surgem հարցões sobre por que os fornecedores não articulam melhor o ROI se vendem “inteligência”, versus a visão de que a medição é trabalho do cliente.
- Um comentarista alerta que a intensidade de uso é um proxy fraco de impacto econômico, especialmente quando juniores usam IA mais do que seniores.
Preocupações metodológicas
- Crítica de que os adotantes são amostrados, mas os não adotantes usam a população completa do Compustat, sem taxa de amostragem divulgada.
- Preocupação de que isso seja estatisticamente arriscado e talvez não leve em conta implantações piloto de pequena escala.