Polars 2.0

Artigo original ↗ Discussão no Hacker News ↗

Polars 2.0, um mecanismo de dataframe baseado em Rust, está sendo recebido como uma grande atualização que adiciona suporte SQL de primeira classe, melhora o desempenho em benchmarks analíticos e introduz melhor escalabilidade e capacidades out-of-core. Muitos usuários relatam migração de pandas e até de pipelines no estilo Spark para o Polars (muitas vezes junto com DuckDB), citando sua API mais limpa, velocidade em grandes conjuntos de dados e adequação para cargas de trabalho de produção que vão de trading quantitativo a análise meteorológica. Ao mesmo tempo, os comentaristas apontam lacunas como ferramentas geoespaciais imaturas e alertam que os resultados de benchmarks contra DuckDB e DataFusion devem ser interpretados como otimizações indicativas, e não como rankings absolutos de desempenho.

Timing e posicionamento do lançamento

  • Alguns observam a coincidência com o 2.0 iminente do DuckDB; colaboradores do Polars dizem que o 2.0 vem sendo planejado há muito tempo, com trabalho na branch desde meados de 2026.
  • Vários comentários enquadram o Polars 2.0 como concorrendo diretamente com DuckDB e DataFusion, especialmente por meio do suporte a SQL e dos benchmarks TPC-H/TPC-DS.

Desempenho, streaming e benchmarks

  • Vários usuários relatam grandes ganhos de velocidade em relação ao pandas; um cita um benchmark de “1 Billion Row” em que Polars e DuckDB são cerca de 50x mais rápidos que pandas.
  • O suporte a streaming/out-of-core é destacado como uma grande melhoria, resolvendo casos em que pandas/polars antes ficavam sem memória.
  • Os mantenedores do Polars reconhecem problemas de overhead em contagens de núcleos muito altas (por exemplo, 192 threads) devido ao particionamento de joins, e planejam otimização נוספת.
  • Alguns relatam que o DataFusion supera o Polars em suas cargas de trabalho; outros veem o DuckDB mais lento que ambos.
  • Especialistas em benchmarking alertam contra interpretar benchmarks de fornecedores como rankings absolutos; TPC-H/DS são úteis, mas não totalmente representativos de cargas de trabalho modernas, especialmente semi-estruturadas.

Polars vs Pandas vs DuckDB (e outros)

  • Muitos dizem que o Polars é um substituto quase drop-in para o pandas em “99,9%” dos casos, com melhor desempenho, escalabilidade e uma API mais limpa.
  • Lacunas observadas: geoespacial (GeoPandas é maduro; GeoPolars ainda está no início), algumas operações linha a linha/in-place, ecossistema/interoperabilidade mais rico (plotagem, estatística).
  • O DuckDB é elogiado por fluxos de trabalho centrados em SQL, baixo uso de memória, extensão geoespacial e por funcionar como um banco analítico in-process.
  • Alguns preferem SQL/DuckDB para limpeza complexa (uma query em vez de muitas linhas de código de dataframe), enquanto outros gostam mais da API de dataframe do Polars do que de SQL.

Recursos, SQL e peças ausentes

  • O suporte a SQL no Polars é visto como um grande avanço; no entanto, certas operações (por exemplo, asof_join) ainda não estão disponíveis via SQL, embora existam na API principal.
  • Surgem հարցเกี่ยวกับ precisão de timestamps; outro comentarista afirma que Datetime("ns") em nanossegundos funciona quando o schema é especificado.
  • Reclamações iniciais sobre concatenação de strings desajeitada são respondidas com exemplos mostrando que a sintaxe no estilo do Pandas é possível.

Ecossistema, interoperabilidade e casos de uso

  • Narwhals é mencionado como uma camada agnóstica de dataframe para abstrair pandas/polars/etc.
  • Equipes relatam a migração de stacks pandas/R para Polars + DuckDB.
  • Usos no mundo real incluem bots de trading quantitativo, processamento de dados de parcelas em larga escala e pré-cálculo de bilhões de pontuações meteorológicas.

Preocupações: memória, threading e usabilidade

  • Alguns experimentam maior uso de memória e OOMs devido a multithreading pesado; reduzir POLARS_MAX_THREADS às vezes melhora tanto a estabilidade quanto a velocidade.
  • Alguns comentaristas continuam com pandas para fluxos de trabalho pequenos, voltados à ciência, porque bibliotecas posteriores esperam pandas/NumPy.