Word2Vec recebeu 'strong reject' quatro vezes no ICLR2013
Word2Vec, uma técnica hoje fundamental para aprender embeddings de palavras em NLP, foi repetidamente rejeitada por uma conferência acadêmica em 2013, provocando debate sobre quão bem a revisão por pares lida com ideias novas ou impactantes. Os comentadores discutem se as revisões realmente melhoraram o rigor do artigo ou se refletiram vieses sistêmicos contra trabalhos incrementais e fáceis de benchmark, tocando em questões como qualidade dos revisores, incentivos e a crise de reprodutibilidade. Vários propõem modelos alternativos para a comunicação científica — de plataformas abertas como arXiv e OpenReview a fluxos de trabalho mais transparentes, no estilo GitHub — enquanto outros defendem a revisão por pares como um filtro de qualidade necessário, embora imperfeito.
Papel e Limites da Revisão por Pares
- Muitos consideram que a revisão por pares é inadequada para reconhecer ideias novas; ela recompensa “peer think”, trabalho incremental e boa formatação em vez de inovação.
- Outros argumentam que o processo frequentemente melhora a clareza e o rigor, mesmo em artigos que acabam sendo influentes, e que quase qualquer manuscrito pode ser fortalecido por meio da revisão.
- Vários observam que os revisores não devem validar a correção, apenas avaliar se o trabalho é claro e reproduzível; a replicação e o trabalho subsequente é que devem testar a verdade.
Revisões de Word2Vec e Nuances do Título
- Comentadores que leram as revisões do ICLR consideram-nas, em geral, razoáveis: elas criticam a descrição mínima do modelo, comparações pouco claras e explicações ausentes.
- O fio aponta que quatro entradas de “strong reject” parecem ser duplicatas de um único revisor, tornando a manchete potencialmente enganosa.
- Alguns argumentam que as revisões levaram os autores a esclarecer e विस्तार o trabalho; outros dizem que ideias importantes, mas cruas, acabam bloqueadas porque a exigência de rigor é alta demais em relação à novidade.
Inovação vs. Rigor, Qualidade vs. Impacto
- Há debate sobre se “qualidade” (clareza, rigor) deve ser julgada independentemente do impacto potencial; alguns acham que essa separação é uma falha central.
- Outros enfatizam que a influência futura é extremamente difícil de prever, então o processo deveria focar em exposição clara e metodologia sólida.
- Vários afirmam que conferências supervalorizam novidade, novas arquiteturas e métricas SOTA, subvalorizando simplificação, resultados negativos e repetições.
Problemas Sistêmicos em Conferências de ML
- As queixas incluem submissões em excesso, dependência exagerada de revisores inexperientes, revisões genéricas ou erradas e decisões de aceitação/rejeição quase de soma zero.
- Há preocupação com a baixa responsabilização dos revisores e a falta de mecanismos reais de feedback sobre o próprio sistema de revisão.
Crédito, Memória e Confiança
- A discussão aborda disputas sobre quem originou certas ideias de tradução neural e frustração com a ausência de agradecimentos, vista como sintoma de comportamento movido por dinheiro e prestígio.
- Alguns relatam resultados não reproduzíveis em trabalhos relacionados e falta de პასუხividade de coautores, alimentando a desconfiança.
Propostas de Reforma e Alternativas
- As sugestões incluem sistemas no estilo GitHub com verificação de código/dados, comentários abertos no estilo OpenReview e fóruns da internet como revisão de fato pós-publicação.
- Outros alertam que plataformas com votação (por exemplo, Reddit) exibem forte pensamento de grupo e viés de popularidade, então não são uma panaceia.