Τα σύγχρονα κινητά είναι απίστευτα γρήγορα, σχεδόν εξωπραγματικά. Για εμάς που δοκιμάζουμε συσκευές καθημερινά, αλλά και για εσάς που θέλετε να ξέρετε τι αγοράζετε, οι αριθμοί των benchmarks είναι το “ευαγγέλιο” της ταχύτητας. Είναι ένας τρόπος να δούμε με αποδείξεις πόσο ισχυρό είναι ένα τηλέφωνο. Τι γίνεται όμως όταν αυτοί οι αριθμοί είναι “πειραγμένοι”; Μια νέα ιστορία που ήρθε στο φως δείχνει ότι κάποιες εταιρείες ίσως παίζουν βρώμικα για να κερδίσουν τις εντυπώσεις.
Η “καμπάνα” χτύπησε για τη RedMagic
Όλα ξεκίνησαν στις 7 Απριλίου, όταν η γνωστή ιστοσελίδα NotebookCheck παρατήρησε κάτι περίεργο. Η UL Solutions, η εταιρεία που βρίσκεται πίσω από πασίγνωστα εργαλεία μέτρησης όπως το 3DMark και το PCMark, διέγραψε οριστικά τα αποτελέσματα δύο συσκευών της RedMagic από τη βάση δεδομένων της.
Πρόκειται για τα RedMagic 11 Pro και RedMagic 11 Pro Plus. Οι υπεύθυνοι των μετρήσεων ήταν ξεκάθαροι: ο κατασκευαστής παραβίασε τους κανόνες. Οι κανόνες αυτοί απαγορεύουν ρητά στο κινητό να αναγνωρίζει πότε τρέχει μια εφαρμογή benchmark και να αλλάζει τη συμπεριφορά του υλικού του μόνο και μόνο για να βγάλει μεγαλύτερο σκορ. Με απλά λόγια, το τηλέφωνο δεν πρέπει να “καταλαβαίνει” ότι εξετάζεται.
Πώς έγινε η αποκάλυψη της “απάτης”
Ένα ιαπωνικό κανάλι στο YouTube, το Saityo, έκανε ένα πολύ έξυπνο πείραμα. Έτρεξε το επίσημο app του 3DMark στο RedMagic 11 Pro και μετά έτρεξε μια “μεταμφιεσμένη” έκδοση της ίδιας εφαρμογής, την οποία το τηλέφωνο δεν μπορούσε να αναγνωρίσει. Τα αποτελέσματα της επίσημης εφαρμογής ήταν πολύ υψηλότερα.
Αυτό απέδειξε ότι το λογισμικό της RedMagic μόλις έβλεπε το benchmark, “ζόριζε” τον επεξεργαστή και την κάρτα γραφικών στο μέγιστο, κάτι που δεν έκανε υπό κανονικές συνθήκες. Η εταιρεία απάντησε επίσημα στις κατηγορίες, λέγοντας τα εξής:
“Οι συσκευές REDMAGIC είναι σχεδιασμένες για να προσφέρουν εμπειρίες υψηλών επιδόσεων, ιδιαίτερα σε σενάρια εντατικού gaming και για απαιτητικούς χρήστες. Για να το υποστηρίξουμε αυτό, οι συσκευές μας προσφέρουν πολλαπλές λειτουργίες απόδοσης που επιτρέπουν στους χρήστες να προσαρμόζουν τις ρυθμίσεις του επεξεργαστή, της κάρτας γραφικών και της θερμικής διαχείρισης με βάση τις ανάγκες τους. Για παράδειγμα, το ‘Diablo Mode’ είναι σχεδιασμένο για να μεγιστοποιεί την απόδοση κάτω από απαιτητικές συνθήκες. Η εξισορρόπηση της απόδοσης, της κατανάλωσης ενέργειας και της θερμικής διαχείρισης αποτελεί βασικό άξονα του σχεδιασμού του συστήματός μας. Η συσκευή αξιολογεί δυναμικά το φορτίο των εφαρμογών σε πραγματικό χρόνο και κατανέμει τους πόρους ανάλογα. Όταν τρέχουν εφαρμογές υψηλών απαιτήσεων, όπως τρισδιάστατα παιχνίδια με βαριά γραφικά, το σύστημα εφαρμόζει υψηλότερο προγραμματισμό επιδόσεων για να εξασφαλίσει μια ομαλή και σταθερή εμπειρία. Όσον αφορά τις μετρήσεις επιδόσεων (benchmarking), τις θεωρούμε ως δείκτη των δυνατοτήτων απόδοσης μιας συσκευής υπό ελεγχόμενες συνθήκες υψηλού φορτίου. Ως εκ τούτου, τα αποτελέσματα των επιδόσεων ενδέχεται να διαφέρουν ανάλογα με τις ρυθμίσεις του συστήματος, τα σενάρια χρήσης και τους περιβαλλοντικούς παράγοντες. Παραμένουμε προσηλωμένοι στην παροχή διαφανών προϊόντων υψηλής απόδοσης που ανταποκρίνονται στις προσδοκίες των gamers και των προχωρημένων χρηστών.”
Είναι τελικά απάτη ή απλώς optimization;
Η αλήθεια βρίσκεται κάπου στη μέση και η κατάσταση δεν είναι άσπρο-μαύρο. Από τη μία πλευρά, αν το τηλέφωνο κάνει την ίδια ακριβώς υπερπροσπάθεια όταν παίζεις ένα βαρύ παιχνίδι, τότε το σκορ του benchmark αντιπροσωπεύει την πραγματική του ισχύ. Στο κάτω κάτω, ο χρήστης παίρνει αυτή την απόδοση στην πράξη.
Το πρόβλημα ξεκινάει από το γεγονός ότι η βελτιστοποίηση γίνεται αυτόματα και κρυφά. Αν η RedMagic είχε απλώς ένα κουμπί που έλεγε “Ενεργοποίηση Μέγιστης Ισχύος” και ο χρήστης το πατούσε πριν το τεστ, τότε η UL Solutions δεν θα είχε κανένα πρόβλημα. Η “γκρίζα ζώνη” είναι η έλλειψη διαφάνειας. Όταν ένα κινητό “κλέβει” στις εξετάσεις, χάνεται η εμπιστοσύνη του καταναλωτή, ακόμα κι αν το προϊόν είναι όντως κορυφαίο.