La primera Tensor Processing Unit de Google: Arquitectura

Significado y uso de “Tensor”

• Debate sobre por qué se usa “tensor” cuando el hardware principalmente realiza operaciones vectoriales/de matrices.
• Varios comentarios dicen que en gran medida es branding y una abreviatura para arreglos n‑dimensionales; los rangos superiores a menudo solo provienen del batching (p. ej., N,C,H,W para imágenes).
• Otros destacan que “tensor” en matemáticas/física puras significa un objeto multilineal que transforma coordenadas, no solo un arreglo; los “tensores” en ML se parecen más a arreglos multidimensionales genéricos.
• Notas históricas: el significado de la palabra ha derivado a lo largo de un siglo; su uso en ML como casi sinónimo de “array” se describe como reciente y algo desafortunado, pero ya arraigado.
• Algunos sostienen que el uso en ML es aceptable dentro de ese contexto; otros lo consideran engañoso.

Arquitectura de TPU y experiencia de programación

• TPU v1 se describe como teniendo ~20 instrucciones; algunos comentarios cuestionan llamarlo “CISC”, y debaten qué significa siquiera CISC/RISC aquí.
• Las TPUs operan conceptualmente sobre matrices; los tensores n‑D se aplanan en matmuls 2D (p. ej., 3×4×256 → 12×256) y se mapean a “tamaños nativos” 2D fijos.
• Una perspectiva: las operaciones de tensores de orden superior se descomponen en otras de menor dimensionalidad, así que el hardware “soporta tensores” mediante composición.
• Informes de practicantes: las TPUs pueden ser muy rápidas para arquitecturas para las que fueron diseñadas, pero los compiladores pueden ser frágiles; los modelos nuevos o inusuales pueden ejecutarse mal o incluso más lento que en CPUs.
• Las GPUs se ven como más generales, con acceso de bajo nivel maduro que habilita kernels personalizados como FlashAttention.

Nvidia, CUDA y aceleradores competidores

• Las ventajas clave de Nvidia citadas: capacidad de fabricación reservada, software profundamente integrado (CUDA, bibliotecas), hardware de centro de datos existente y relaciones con clientes.
• Muchos ven los kernels optimizados y el ecosistema de CUDA como el principal foso competitivo; existen alternativas (ROCm, Vulkan, Triton, TPUs de proveedores, AWS Trainium, Intel/Habana, GPUs AMD), pero van por detrás en adopción y herramientas.
• Algunos se quejan de que CUDA y los drivers son frágiles; otros responden que las pilas de los competidores son peores.
• La visión de que la demanda de IA y el interés propio de las grandes tecnológicas acabarán produciendo competencia seria; la contraposición es que replicar la pila de software de Nvidia es un esfuerzo enorme y de largo plazo.

Estrategia de Google en IA/TPU y oportunidades perdidas

• Pregunta recurrente: cómo Google inventó TPUs y el transformer, construyó fuertes modelos de chat internamente, y aun así permitió que Nvidia y startups capturaran la mayor parte del valor visible.
• Explicaciones ofrecidas:
  • Miedo a la seguridad, las alucinaciones y la reacción regulatoria, especialmente en la UE.
  • Conservadurismo interno y reticencia a lanzar productos radicalmente nuevos que pudieran amenazar la búsqueda/publicidad.
  • Complacencia y preferencia por mejoras incrementales frente a apuestas disruptivas.
• Algunos argumentan que es prematuro decir que Google ha “perdido”; todavía puede integrar IA en todos sus productos, pero igualar los ingresos a escala de búsqueda es difícil.
• Negocio de TPU: llamadas a escindir el equipo como una empresa separada; preocupación de que las TPUs sean escasas incluso internamente y que mayormente solo se pueda acceder a ellas vía Google Cloud, limitando el crecimiento del ecosistema.

Fabricación, disponibilidad y otras notas de hardware

• Se informa que las TPUs usan nodos de proceso algo más antiguos que las GPUs más punteras; esto se considera aceptable pero menos glamuroso.
• La propuesta de que Google construya su propia fab de vanguardia se descarta ampliamente por ser económica y técnicamente inviable dadas las inversiones, la experiencia y los volúmenes requeridos.
• Se señala que los chips M‑series de Apple son fuertes para inferencia local debido a la memoria unificada y el alto ancho de banda, pero no están posicionados como competidores para entrenamiento a gran escala como los H100.