¡Google tiene razón! La era de los benchmarks y las hojas de especificaciones debe terminar en los teléfonos inteligentes

Así que alguien finalmente lo dijo. Una persona muy destacada, además. En un podcast reciente de Made by Google , Monika Gupta, directora sénior de gestión de productos de Google Silicon Teams, dijo lo que muchas personas del sector tecnológico ya sabían pero habían evitado decir porque iba totalmente en contra de la percepción popular:

Las especificaciones y los puntos de referencia son útiles, pero lo que cuenta es la funcionalidad.

En respuesta a las críticas al chip Tensor de Google por sus bajos resultados en las pruebas comparativas, Gupta fue bastante directo:

Creo que los benchmarks clásicos cumplieron una función en algún momento, pero creo que la industria ha evolucionado desde entonces… los benchmarks clásicos se crearon en una época en la que la IA y los teléfonos ni siquiera existían. Puede que cuenten una historia, pero no creemos que cuenten la historia completa… Lo que evaluamos son las cargas de trabajo de software reales que ejecutamos en nuestro chip. Luego, con cada generación del chip Tensor, nos esforzamos por mejorarlas, ya sea en cuanto a mejor calidad, mejor rendimiento o menor consumo de energía.

¿Quieres saber qué tan bueno es un teléfono? Consulta estos puntos de referencia

Algunos podrían encontrar rastros de ironía en esa declaración, ya que las pruebas comparativas y las especificaciones técnicas realmente entraron en escena en las reseñas y análisis de teléfonos inteligentes con la llegada de Android. Antes de eso, en la era de Nokia y BlackBerry, era raro saber el nombre y la velocidad del procesador y la memoria RAM de un dispositivo, y mucho menos las puntuaciones comparativas de los procesadores. Las únicas especificaciones que generalmente se tenían en cuenta eran los megapíxeles de la cámara, el tamaño de la pantalla (la resolución no era un factor tan importante) y, en cierta medida, el tamaño de la batería.

Comparemos eso con la actualidad, cuando casi todo lo que hay dentro de un teléfono tiene algún tipo de prueba comparativa: el procesador, la pantalla, las cámaras, la batería… lo que sea, lo encontrarás. Estos elementos también existían en el pasado, pero en los últimos tiempos, se han convertido en los protagonistas del espectáculo de los teléfonos inteligentes en lugar de ser actores secundarios. Hoy en día, es habitual ver que una marca comience a compartir las puntuaciones de referencia del procesador de un teléfono, las calificaciones DXO de su cámara y/o los detalles de la calificación de su pantalla mucho antes de su lanzamiento.

Se puede entender la postura de las marcas en este sentido. Estos puntos de referencia y calificaciones se consideran una prueba objetiva y de “terceros” del rendimiento y la calidad y, a menudo, son una forma de demostrar que un producto es el mejor en una determinada categoría o mejor que sus rivales. Y ese es un enfoque bastante justo. Después de todo, los puntos de referencia y las calificaciones se idean para probar los componentes, por lo que no se puede ignorar su rendimiento en ese aspecto.

El blues de Benchmark: “Puede que cuenten una historia, pero no la historia completa”

El problema surge cuando los benchmarks se consideran el principio y el fin en lo que respecta a un dispositivo. Un piloto de Fórmula 1 dijo una vez que los números de un coche no servían de nada si no era fácil de manejar y conducir, y lo mismo se aplica a los benchmarks de los teléfonos inteligentes. Como señaló Gupta: ” Pueden contar una historia, pero no creemos que cuenten la historia completa “. Un procesador puede alcanzar excelentes puntuaciones en los benchmarks, pero no puede compensar un software con errores. Una alta calificación DXO para una cámara puede disimular un procesamiento lento. Hay un número limitado de benchmarks y calificaciones que pueden hacerlo. Son como condiciones de prueba, no de la vida real. Lo que es peor, las marcas ahora han comenzado a centrarse en las excelentes puntuaciones de los benchmarks en lugar de en la experiencia genuina del consumidor. De hecho, la puntuación de los benchmarks se ha convertido en una parte importante de cualquier presentación de lanzamiento de marca.

En su haber, Google ha estado tratando de salir de este sistema basado en pruebas de rendimiento durante un tiempo. Cuando adquirió Motorola, sacó dispositivos como el Moto G y el Moto X, que enfatizaban el rendimiento fluido e innovador en lugar de las especificaciones. Incluso cuando parecía haber sido absorbido por la guerra de especificaciones con la gama Pixel, Google sacó variantes “A” del Pixel que ofrecían un buen rendimiento con hojas de especificaciones relativamente modestas. Y cuando pasó a su propia plataforma de procesador Tensor para los Pixel el año pasado, el gigante de las búsquedas dejó en claro que estaba priorizando la funcionalidad inteligente sobre la “potencia”. Potencia que se definía por las puntuaciones de las pruebas de rendimiento, claro está.

Tensor: elementos para hacer que los puntos de referencia sean tensos

Los Pixels han recibido críticas por no ser tan potentes como los dispositivos equipados con chips insignia de Qualcomm y MediaTek. Sin embargo, un punto a tener en cuenta aquí es que tienden a quedarse atrás solo en condiciones muy específicas, por ejemplo, en configuraciones al máximo de un juego de alta gama o al procesar un video largo. En la mayoría de las tareas de uso general, los Pixels son tan buenos como cualquier buque insignia de Android, si no mejores, y vienen con una serie de funciones inteligentes de las que carecen muchos buques insignia. Sí, puede que no carguen los juegos tan rápido como otros buques insignia y que pierdan algún que otro fotograma aquí y allá, pero la diferencia no es tan calamitosa como indican las puntuaciones de referencia. Como señaló una vez un ejecutivo de una marca tecnológica: ” ¿Deberían importar las puntuaciones de referencia si el teléfono funciona sin problemas para un usuario? Es un poco injusto decir que un teléfono tiene poca potencia basándose en el nombre de su procesador o en sus puntuaciones de referencia. Debería tratarse de lo bien que funciona, no de sus puntuaciones de referencia “.

Esto no quiere decir que los benchmarks sean totalmente inútiles y una pérdida de tiempo. Son invaluables para proporcionarnos una medida del desempeño y también una escala de comparación. Sin embargo, deben complementar la narrativa de la tecnología de consumo en lugar de impulsarla. Los benchmarks son un poco como los exámenes académicos: brindan una medida de lo que una persona sabe, pero de ninguna manera son una prueba irrefutable de los conocimientos de una persona. Incluso Einstein reprobó los exámenes. Francamente, hemos perdido la cuenta de la cantidad de dispositivos que se jactaron de tener puntajes de benchmark impresionantes pero que fallaron y fallaron en el mundo real.

Google ha dado un paso adelante audaz en un mundo obsesionado con los benchmarks al optar por la inteligencia en lugar de la velocidad absoluta con sus chips Tensor. Es maravilloso ver que también lo ha logrado, incluso cuando algunos expertos en tecnología se burlan de sus puntuaciones de benchmark. ” Lo que evaluamos son las cargas de trabajo de software reales que estamos ejecutando en nuestro chip “, dijo Gupta en el podcast. Creemos que tiene razón. Al final del día, debería tratarse de lo bien que funciona algo. Los teléfonos con altos benchmarks y un rendimiento mediocre o lleno de errores son similares a platos que tienen excelentes ingredientes y presentación pero aún así terminan teniendo un sabor extraño. Los benchmarks son indudablemente útiles, pero es hora de que empecemos a mirar más allá de ellos.