MonadGPT – O que teria acontecido se o ChatGPT tivesse sido inventado no século XVII?
Um modelo de linguagem com 7 bilhões de parâmetros, ajustado em textos dos séculos XVII e XVIII, o MonadGPT busca emular como um pensador da era moderna inicial escreveria e raciocinaria, possibilitando conversas imersivas de “viagem no tempo” para educação histórica e experimentação. Os comentaristas exploram casos de uso como simular debates entre figuras históricas, ensinar contexto cultural e criar variantes específicas de período (por exemplo, modelos da era romana ou apenas em latim), ao mesmo tempo em que observam limitações técnicas como corpora históricos limitados, “vazamento” de dados modernos nas respostas e saídas repetitivas. Muitos consideram os resultados ao mesmo tempo divertidos e reveladores, pois o estilo arcaico do modelo expõe crenças passadas sobre ciência, medicina, religião e política, e mostra como os LLMs são limitados pelos dados em que foram treinados.
Educação Histórica e Casos de Uso
- Muitos veem um forte potencial para o ensino de história, especialmente como uma “orientação para viagem no tempo” para culturas passadas, e não apenas datas e eventos.
- Usos sugeridos: conversas simuladas com figuras do início da era moderna, debates entre pensadores históricos e NPCs historicamente fundamentados em jogos.
- Há interesse em estender a ideia a outros períodos e línguas: latim da era romana, francês medieval/início da era moderna, “os anos 80”, inglês antigo/início do inglês, e pensadores especializados (por exemplo, Foucault).
Dados de Treino e Escolhas Linguísticas
- O modelo é ajustado a partir de uma base moderna que segue instruções (Mistral/OpenHermes) em corpora do início da era moderna; não foi treinado do zero em textos antigos devido a limitações de dados.
- O conjunto de dados é publicado; um futuro modelo histórico francês maior (1000–2000) está planejado.
- Escolha consciente de preservar a ortografia e a tipografia históricas (incluindo a confusão com o s longo), embora os tokenizers não gostem disso.
- Debate sobre se a tipografia deve ser normalizada ou se deve haver primeiro uma “etapa de dicionário”.
Comportamento do Modelo e Exemplos
- Usuários compartilham saídas divertidas: conselhos sobre ensaios, dores de cabeça, relâmpagos, melancolia amorosa, criptomoeda e 2023 especulativo, tudo em estilo arcaico.
- Algumas respostas estão historicamente “erradas” de um modo que combina com o pensamento da época (por exemplo, física, medicina, adestramento de cães).
- Ciclos repetitivos (“novos motores…”, lavagem repetida com ácido, “strike him again” sem fim) destacam problemas de modelos pequenos e de amostragem.
Autenticidade e Contaminação Temporal
- O modelo às vezes alterna entre uma voz do século XVII e uma moderna (por exemplo, definições semelhantes às da Wikipedia, consciência de políticos ou produtos modernos).
- O criador reconhece uma troca deliberada: bom seguimento de instruções versus um “reset” cultural profundo.
- A engenharia de prompts com arcaísmos falsos ajuda a ancorá-lo no passado; sugestões incluem penalizar palavras modernas ou reinicializar as camadas superiores.
- Alguns usuários estão insatisfeitos com o fato de o conhecimento moderno “vazar”, argumentando que isso prejudica a ilusão de viagem no tempo.
Aspectos Técnicos e Limitações
- Existem versões quantizadas em GGUF; usuários relatam execuções locais suaves em Macs com chip M-series usando llama.cpp.
- O tamanho pequeno de 7B e os dados “estranhos” tornam o modelo mais sensível à qualidade da quantização e à repetição.
- Sugestões incluem melhores penalidades de amostragem e mais treinamento para reduzir os ciclos.
Debates Filosóficos e Conceituais
- Discute-se se os LLMs podem testar interpretações históricas ou apenas gerar reescritas confiantes, mas não verificáveis.
- Há disputa sobre o que significaria o modelo “acreditar” em algo, em vez de simplesmente manipular tokens.
- Há ceticismo quanto à reconstrução do “zeitgeist” a partir de textos iniciais escritos por elites e quanto à promessa do título do tópico de explorar história alternativa, e não apenas simulação de estilo.