Como os benchmarks de smartphones funcionam – parte 1

Já analisamos uma boa quantidade de smartphones e tablets aqui no Canaltech, com diferentes configurações, resoluções de tela e segmentos de preço. Via de regra, sempre rodamos os principais benchmarks do mercado para ver como eles se saem, colocando-os como curiosidade para que o usuário veja onde ele se posiciona. Porém, não chegamos a explorar o que o resultado final significa, como os apps fazem a composição do resultado, já que o resultado usa diversos fatores, subcategorias, por assim dizer.

Separamos os 5 apps mais famosos (Antutu, GeekBench, Quadrant, PCMark e 3DMark), com um item inicial sobre o CPUz e um item final explicando os truques que os fabricantes utilizam para inflar os resultados.

CPUz

Parceiro de longa data de usuários técnicos de PCs, o CPUz faz o mesmo para o smartphones, em especial nas versões mais recentes. As primeiras versões eram sofríveis, errando feio em certas configurações, mas atualmente o app está robusto o suficiente para listar os componentes internos. Essencialmente, o CPUz serve apenas como referência, mostrando detalhes como a quantidade e e distribuição de caches, o clock atual dos núcleos, se há processamento assíncrono ou não, qual a GPU e assim por diante.

Na segunda aba temos os detalhes de memória RAM, resolução e tamanho de tela, que servem como base de cálculo da densidade de pixels por polegada quadrada, quantidade de memória interna (mas nada sobre o suporte para cartões microSD e sua capacidade). É interessante ver como esses dados são diretamente relacionados com os resultados dos benchmarks.

Antutu

Um dos mais famosos e populares, o Antutu é o principal app de benchmark utilizado para mostrar o poder de fogo de novos smartphones. Aqueles “vazamentos” que acontecem sempre, sabe? Um dos mais precisos, também, usando 6 categorias principais (5, na verdade, já que uma delas aparece duas vezes) como componentes do resultado final. Ainda que muitos utilizem a pontuação final para mostrar o poder de fogo do processador, a GPU tem um peso consideravelmente maior como componente individual.

Abaixo, explicamos o que cada quesito significa. O resultado final é a soma aritmética das pontuações individuais de cada um dos quesitos.

• UX: Este primeiro quesito simula o uso comum do smartphone, colocando todos os componentes para trabalhar no máximo. É aqui que uma interface mais pesada ou pouco otimizada atrapalha, assim como a presença de muitos apps pré-carregados penalizam a pontuação. Por outro lado, quantos mais núcleos de CPU, melhor o resultado, já que o multitarefa testado não tem limite de threads;
• CPU 1: Realiza cálculos de inteiros e ponto-flutuante (assim como acontece nos PCs) usando todos os núcleos. O tipo de núcleo (Cortex-A53, Cortex-A57, etc), clock e quantidade de núcleos são decisivos aqui;
• CPU 2: Idêntico ao CPU 1, mas somente com uma thread. Em smartphones com dois ou mais tipos de núcleos, o escolhido é sempre o de mais alto desempenho;
• RAM: Velocidade da memória RAM, medindo a quantidade disponível, quantidade de canais de acesso e tipo (LPDDR3, LPDDR4). Smartphones com 2 GB ou mais geralmente se saem bem aqui;
• GPU: Mede o poder de fogo da GPU do SoC, mas há um pulo do gato aqui. O resultado toma como referência a resolução de tela utilizada (destacada em colchetes), então, mesmo que dois smartphones usem exatamente o mesmo chip, irão apresentar resultados diferentes, dependendo da tela utilizada.
• IO: Sigla de Input/Output, focado na memória interna. Mais do que quantidade de memória interna disponível, esse quesito é importante para medir a qualidade da memória flash, e é aqui que smartphones de baixo custo apanham e muito, já que usam versões defasadas do padrão eMMC.

GeekBench

Mais focado em CPU, o GeekBench é um dos benchmarks mais técnicos para medir o poder de foco do processador, tanto em single-thread quanto multithread. A grande diferença entre o GeekBench e o Antutu é exatamente essa, já que os resultados são mais precisos, focando exclusivamente nos cores de processamento, independentemente da versão (seja Android ou iOS) e do resto do sistema. Naturalmente, fatores indiretos contam aqui, como a memória RAM, que é onde os cálculos são realizados.

• Single-core: assim como o Antutu, o core mais poderoso é escolhido para realizar os cálculos. Em seguida, o resultado é comparado com os principais aparelhos do mercado. É aqui que a Apple se sai bem, já que foca na eficiência por núcleo, enquanto o Android foca em uma quantidade maior de cores;
• Multi-core: usa todos os cores disponíveis. É interessante observar o decréscimo proporcional de pontuação conforme mais núcleos são adicionados. Isso acontece tanto pela perda de desempenho inerente de distribuição de threads (um processador dual-core de 1,0 GHz nunca será melhor do que um single-core de 2,0 GHz, em uma generalização bem simples), quando pelo thermal throttling, já que colocar todos os núcleos para rodar a 100% durante o teste todo pode danificar o smartphone;
• Bateria: teste utilizado para mostra a diferença entre os dois chips utilizados nos novos iPhones (TSMC e Samsung), com diferenças consideráveis de resultado. É um teste bastante simples, até, já que basicamente coloca todos os componentes para trabalhar no máximo até esgotar a bateria. O resultado é bastante artificial, já que é praticamente impossível reproduzí-lo em condições normais de uso.

Quadrant

Ainda bastante utilizado, os resultados já não dizem tanto sobre o desempenho de um smartphone. O motivo? Os testes já não são atualizados há tempos. Por exemplo, o Quadrant não tem uma versão 64 bits como o Antutu, não tirando proveito dos novos Cortex com suporte ao conjunto de instruções ARMv8. O mesmo acontece com os testes de GPU, que além de bastante simples para as configurações atuais são travados em 60 frames por segundo. Acreditem, os tops de linha atuais conseguem um framerate bem maior sem grandes problemas.

Até mesmo o comparativo final precisa de uma atualização, já que o modelo mais “poderoso” da lista é o HTC One X, que chegou ao mercado em Fevereiro de 2012 com o novíssimo Tegra 3 da Nvidia. De qualquer forma, serve como comparativo entre um modelo atual e smartphones de alguns anos atrás, e é interessante observar que mesmo um modelo básico atual consegue ser mais potente do que um top de linha de poucos anos atrás.

• Como os benchmarks de smartphones funcionam – parte 2