2022/07/13に正式発表されるNothing phone (1)ですが、ベンチマーク結果を意図的に良い結果に見せかける手法が使われている可能性があります。
対象は内部テスト版のみ、リリース時は無効に?
スマートフォンの性能の目安として利用されているベンチマークアプリにはAnTuTU Benchmark、3DMark、Geekbench、PC Markなどがあります。
ベンチマークは高い数値を出して遊ぶゲームではなく「実際に使う環境での挙動」を数値化するためのもののため、ベンチマーク時と一般的なアプリの挙動を異なるものにすることは「ベンチマークブースト」として問題視されています。
特にUL Solutionsではこちらのページで禁止事項がまとめられており、ベンチマークアプリ起動時のみ最大性能を発揮するよう挙動を変更することは”The platform must not alter, replace or override any parameters or parts of the test, nor modify the usual functioning of the platform based on the detection of the benchmark.”に反しています。
過去にはHUAWEIやSamsung、SONY、realme、OnePlusなどが同様の挙動をしており、GeekbenchやUL Solutionsがベンチマーク結果一覧から名指しで除外するなど問題になりました。
Androidスマホ ベンチマーク結果まとめ。CPU・メモリ・ストレージ性能・タッチレイテンシー一覧 – AndroPlus
AndroPlusところがNothing phone (1)には、記念すべき初製品だというのにこのベンチマークブーストが搭載されてしまっているようです。
【追記】XDAのレビューによれば、実際に発売されたバージョンではベンチマークブーストが動作しないようになっているそうです。
Nothing Phone 1 Review: Good phone, better marketing
XDAAMP
Dylan Roussel氏が発見したものによると、システム内に存在する「AppSandbox.apk」は一見するとアプリをサンドボックス化するセキュリティアプリのように見えますが、実は中にあるコードには「ベンチマークアプリを開いているか検出する」「ベンチマークアプリであればCPU・GPUクロックを変更する」というものが含まれています。
ベンチマークアプリとして挙げられているものにはAnTuTu Benchmark、3DMark、Geekbench、ABenchMarkといった人気ベンチマークアプリがあり、ほぼすべて網羅されています。
このように特定アプリではCPU・GPUクロックを最大値に固定するよう指示されています。
Snapdragon 778G+は3種類の周波数のコアを搭載していますが、それぞれ2.4GHz・1.8GHz・2.8GHzに固定されています。
また、GPUクロックも840MHzに固定されています。
通常利用ではクロックを最大に固定して使うことはまずあり得ないため、公平な比較ができなくなってしまいます。
dumpsys activity service com.nothing.pps/.SystemEventService perf setGpu [mingpufreq][maxgpufreq]
コマンドなどでCPU・GPUクロックを変更できる仕組みになっているようです。
サーマルスロットリングのモードでもベンチマークアプリ専用のthermal_mode_benchmarkが用意されており、おそらく通常よりもスロットリングが緩められています。
他にも中国版原神でゲームブーストを有効化するコードなどもあったため、Nothingが用意したというよりはNothing phone (1)の製造を担当した中国 BYD Electronicsによるものと思われます。
なお、Nothing phone (1)発表時のプレスリリースでは「オペレーティングシステムから最小限必要な意義あるもの以外、 1 バイト単位に到るまでそぎ落としています」と明言していましたが、実際には必要の無いコードや他メーカー向けのリソースが数百MB以上残っていたため、嘘の内容でプレスリリースを出していたということになります。
NothingとBYDの間で意思疎通ができていない、というのは今後サポートの面などで大きな問題になりかねません。
Nothing phone (1) A063のGeekbenchスコアはすでに公開されていますが、Snapdragon 778G+搭載スマホとしては妙にマルチコアのスコアが高いことにも「ベンチマークブーストしている」のであれば納得がいきます。
もし発表会でベンチマーク結果が大々的にアピールされるのであれば、マーケティング目的でBYDへ不正操作を指示したととられても仕方がないでしょう。
Nothing phone (1)の発表会でベンチマーク周りをどう扱うのかに注目です。