Polars 2.0

Artículo original ↗ Discusión en Hacker News ↗

Polars 2.0, un motor de dataframe basado en Rust, está siendo recibido como una mejora importante que añade soporte SQL de primera clase, mejora el rendimiento en benchmarks analíticos e introduce mejor escalado y capacidades out-of-core. Muchos usuarios informan haber migrado desde pandas e incluso desde pipelines estilo Spark a Polars (a menudo junto con DuckDB), citando su API más limpia, la velocidad con grandes conjuntos de datos y su idoneidad para cargas de trabajo de producción que van desde trading cuantitativo hasta analítica meteorológica. Al mismo tiempo, los comentaristas señalan carencias como herramientas geoespaciales inmaduras y advierten que los resultados de benchmarks frente a DuckDB y DataFusion deben interpretarse como optimizaciones indicativas y no como clasificaciones absolutas de rendimiento.

Momento del lanzamiento y posicionamiento

  • Algunos señalan la coincidencia con la próxima 2.0 de DuckDB; los contribuidores de Polars dicen que 2.0 se ha estado planificando durante mucho tiempo, con trabajo en la rama desde mediados de 2026.
  • Varios comentarios presentan Polars 2.0 como competidor directo de DuckDB y DataFusion, especialmente mediante el soporte SQL y los benchmarks TPC-H/TPC-DS.

Rendimiento, streaming y benchmarks

  • Varios usuarios informan grandes mejoras de velocidad frente a pandas; uno cita un benchmark de “1 Billion Row” en el que Polars y DuckDB son unas 50x más rápidos que pandas.
  • El soporte de streaming/out-of-core se destaca como una mejora importante, abordando casos en los que pandas/polars antes se quedaban sin memoria.
  • Los mantenedores de Polars reconocen problemas de sobrecarga en conteos de núcleos muy altos (p. ej., 192 threads) debido a la partición de joins, y planean seguir optimizando.
  • Algunos informan que DataFusion supera a Polars en sus cargas de trabajo; otros ven a DuckDB más lento que ambos.
  • Los expertos en benchmarking advierten contra interpretar los benchmarks de los proveedores como clasificaciones absolutas; TPC-H/DS son útiles pero no representan por completo las cargas de trabajo modernas, especialmente las semiestructuradas.

Polars vs Pandas vs DuckDB (y otros)

  • Muchos dicen que Polars es un reemplazo casi directo de pandas en el “99.9%” de los casos, con mejor rendimiento, escalado y una API más limpia.
  • Brechas señaladas: geoespacial (GeoPandas es maduro; GeoPolars todavía está en una fase temprana), algunas operaciones fila a fila / in-place, ecosistema e interoperabilidad más ricos (plotting, estadísticas).
  • Se elogia a DuckDB por flujos de trabajo centrados en SQL, bajo uso de memoria, extensión geoespacial y por funcionar como una base de datos analítica in-process.
  • Algunos prefieren SQL/DuckDB para limpieza compleja (una consulta en lugar de muchas líneas de código de dataframe), mientras que otros prefieren la API de dataframe de Polars frente a SQL.

Funciones, SQL y piezas faltantes

  • El soporte SQL en Polars se ve como un gran paso; sin embargo, ciertas operaciones (por ejemplo, asof_join) aún no están disponibles vía SQL aunque sí existen en la API central.
  • Se plantean preguntas sobre la precisión de las marcas de tiempo; otro comentarista afirma que Datetime("ns") en nanosegundos funciona cuando se especifica el schema.
  • Las quejas iniciales sobre una concatenación de cadenas incómoda se contrarrestan con ejemplos que muestran que es posible una sintaxis similar a la de Pandas.

Ecosistema, interoperabilidad y casos de uso

  • Se menciona Narwhals como una capa agnóstica de dataframe para abstraer pandas/polars/etc.
  • Equipos informan haber pasado de stacks pandas/R a Polars + DuckDB.
  • Entre los usos reales figuran bots de trading cuantitativo, procesamiento de datos de parcelas a gran escala y el precálculo de miles de millones de puntuaciones meteorológicas.

Preocupaciones: memoria, hilos y usabilidad

  • Algunos experimentan mayor uso de memoria y OOMs debido a un multithreading intenso; reducir POLARS_MAX_THREADS a veces mejora tanto la estabilidad como la velocidad.
  • Unos pocos comentaristas se quedan con pandas para flujos de trabajo pequeños, orientados a la ciencia, porque las bibliotecas downstream esperan pandas/NumPy.