Por que os Benchmarks de Smartphones são Importantes

Saiu a tabela mais recente do Antutu e o iPhone 8 Plus está lá em primeiro lugar. Já sabe né? Isso é o suficiente para muitos usuários Android perderem o sono e soltarem a celebre frase “Benchmark não é importante”. Será mesmo? Ou será que é porque a maioria dos usuários não sabe “ler um benchmark”.

Resolvemos criar este post para esclarecer as dúvidas do quê é, por que existe e para que serve o Benchmark.

– O que é e para que serve um Benchmark?

Antes de qualquer coisa, Benchmark não é algo que nasceu nos smartphones, ok? Essa prática de medir e traçar um comparativo já existia no mundo empresarial e foi transportada para os computadores, ainda lá nos anos 70.

O benchmark, ou benchmarking, é o ato de analisar e comparar mecanismos para determinar qual possui melhor performance, e no fim, gerar um relatório.

O tipo de benchmark que mais conhecemos hoje em dia, principalmente nos smartphones, é o Benchmark Sintético. Geralmente é uma aplicação com um conjunto de tarefas para o dispositivo computar. Simulando a utilização pesada do aparelho. O aplicativo mede o desempenho do dispositivo e no final, aplica ou não uma pontuação ou nota.

Alguns benchmarks são específicos como os que são restritos ao poder computacional, como o GeekBench que mede basicamente o poder de processamento de um chiset. Já o Antutu, possui diversos testes que vão desde renderização de gráficos 3D, a renderização de páginas web e transferência de arquivos.

– Quando os benchmarks são importantes?

Os benchmarks sintéticos como conhecemos não servem para definir qual o melhor e qual o pior smartphone. Eles servem como um parâmetro, uma métrica para definir o desempenho de um produto (ou parte dele), e não se suas características são melhores ou piores que outro produto.

Por exemplo, o chipset A11 do iPhone 8 Plus superou todos os outros chipsets usados em Android no seu lançamento. O que ninguém contou é que o A11, apesar de ser Hexa-Core possui 1.3 bilhões de transistores a mais que o Snapdragon 835. Em outras palavras, fisicamente, o chiset do iPhone 8 tinha obrigação de ser mais poderoso que o Snap 835. E isso se traduziu no teste do Antutu. É como querer comparar um motor de carro 3.0 com um 4.3 (uma analogia bem simples).

Para o gamer, no entanto, todo o poder do iPhone 8 Plus pode não ser interessante para a troca do sistema. Logo ali vemos na coluna 3D, que o OnePlus 5 tem desempenho bem próximo ao do iPhone 8 Plus. Indicando que muitas cenas 3D de jogos (da atualidade) o OnePlus 5 tem todo o poder para competir com o novo iPhone.

Para o usuário comum, toda essa briga e numerologia é desnecessária. Todo esse poder computacional do A11 pode não ser um diferencial para o usuário comum determinar qual aparelho é melhor. Pode ser a câmera, por exemplo. Nesse quesito, testes apontam que a câmera do Google Pixel 2 (que possui um Snap 835) é a melhor.

Mas o processador pode influenciar no desempenho da câmera? Com certeza, pois o hardware da câmera (sensor principalmente) vai depender do processador para renderizar as imagens captadas. Isso é ainda mais relevante durante a gravação de vídeos em 4K.

Como vimos, os benchmarks são sempre importantes. Porém, a maioria das pessoas se prende aos números sem entender direito o que está sendo testado. Em teste de renderização de vídeos 4K, por exemplo, quanto menor o valor, melhor.

Benchmarks são descartáveis apenas quando o resultado está muito próximo. Quando o resultado é muito parecido, podemos usar uma lógica de margem (para mais ou para menos), indicando um possível empate técnico. É o tipo de flutuação que costuma desaparecer quando um update aparece ou quando troca-se uma ROM.

Resumindo a polêmica. Poder de processamento é importante? É, mas atualmente não existe aplicação para aproveitar todo esse poder do iPhone 8 Plus. É como botar um Core i7 em um celular e achar que só isso vai tornar ele o smartphone mais rápido do mercado. Será o mais poderoso sim, mas o mais rápido, nem tanto. Contudo, num futuro próximo surgirão jogos exclusivos para iPhone 8, Plus e X, assim como existem jogos que são exclusivos do Nvidia Shield TV.

– Os inúteis testes para ver qual smartphone abre apps mais rápido

E qual o mais rápido? Com certeza será o dispositivo que abrir a calculadora mais rápido certo?

Se há uma coisa inútil e uma tremenda pegadinha são os testes no Youtube para ver qual smartphone abre apps mais rápido. De mudanças na configuração para animações mais rápidas, passando por testes feitos enquanto o outro smartphone está em processo de “auto-configuração”. A maioria desses “testes” de abrir e fechar apps é uma grande furada.

Para início de conversa, nenhum smartphone usa todos os núcleos do seu chipset para abrir um app. Muitos aparelhos usam apenas um, e o menos potente dependendo do aparelho. Em termos técnicos, esses testes de abertura se limitam a fazer um teste “porco” de single-core, em conjunto da medição da velocidade de memória RAM e I/O do aparelho.

E o teste todo pode ir por água a baixo se um aparelho monopolizar a rede Wi-Fi. Esses testes são justos apenas se forem realizados em um aparelho de cada vez.

– Benchmarks de gamers para gamers

Agora vem a parte que nos interessa. O que realmente separa aqueles 100 pontinhos no Antutu que faz a diferença entre o jogo rodar com lag ou não.

Para os gamers o benchmark sintético é um parâmetro muito importante. Pois muitos dos testes (você verá alguns abaixo) medem renderização 2D e 3D em ambientes com bibliotecas como OpenGL, Vulkan e Metal. Em outras palavras, são benchmarks que medem o desempenho das GPUs.

Os principais testes são o Antutu 3D e GFXBench GL Benchmark. Os teste de GPU do GeekBench exigem uma interpretação apurada para não ter uma falsa interpretação.

Um bom exemplo disso é o nosso artigo anterior sobre “Pare de Comparar Smartphones com os Consoles de Videogame da Geração Atual“. Lá mostramos que apesar do iPhone 8 mandar super bem no GeekBench, quando o assunto é gerar triângulos na tela e GFlops, o iPhone parece um minigame perto do monstro chamado Playstation 4.

Outro exemplo. Na tabela acima (aquela polêmica do Antutu), o iPhone 8 Plus faz uma pontuação muito mais alta que o OnePlus 5, mas no teste 3D, os aparelhos estão muito próximos. Isso mostra que para os games da atualidade, o OnePlus 5 pouco deve ao iPhone 8 Plus.

Benchmarks existem há anos e muitos utilizam testes assim para estabelecer qual melhor configuração de PC (PC Gaming) e até em consoles de videogame. No PC, por exemplo, um dos benchmarks mais populares é o Futuremark que engloba 3DMark, PCMark10 e VR Mark. Ele tem versão para smartphones também.

– Quais os principais Benchmarks do mercado

GeekBench  (Android e iOS)  – Um teste padrão de CPU e GPU. Apenas calcula a performance baseado em processamento bruto. Pode apresentar resultados contraditórios se o aplicativo medir apenas os núcleos menos potentes.

Antutu (Android e iOS) – Esse é o pai da discórdia. Muita gente leva em conta apenas a pontuação final sem analisar os tópicos de cada teste que o Antutu realiza. Muitas vezes um smartphone tem uma pontuação altíssima e pouca memória RAM. Adivinha, o kid já vai soltar por aí que “Antutu não presta”. O Antutu realiza teste de CPU, GPU, Renderização 3D, Javascript (importante para apps básicos e navegação web), teste de velocidade de RAM, Leitura e escrita e muito mais.

GFXBench GL Benchmark (Android e iOS)  – Testes de renderização de gráficos em 3D. Basicamente um ambiente 3D, como se fosse um jogo é apresentado e o app diz a que velocidade (quadros por segundo) os testes estão rodando. Vem com Car Chase, Manhattan 3.1, Manhattan, T-Rex, Tessellation, ALU 2, Texturing, Driver Overhead 2, Render Quality, Battery and Stability,ALU, Alpha Blending, Driver Overhead e Fill.

Basemark OS Platform Benchmark  (Android e iOS) – praticamente outro Antutu. Realiza dezenas de testes e no final apresenta um score. Assim como o Antutu, a pontuação final pode variar bastante dependendo da ROM e de algum aspecto inferior no aparelho, como por exemplo, velocidade de memória RAM.

– Conclusão

Benchmarks são relatórios para se ler e não apenas pegar a nota final e jogar em uma discussão. Muitas vezes um teste pode enganar e gerar uma interpretação errada. A dica é sempre olhar para o lado e para a parte “científica” da coisa. Não existe mágica ou achismo nos benchmarks. Eles são um dado, não uma informação.