امتیاز بنچمارکها با توجه به اینکه اعدادی مشخص هستند و امکان مقایسهی راحتتری دارند، همیشه یکی از معیارهایی هستند که بحثهای رقابتی را بین دارندگان گوشیهای هوشمند گرم میکنند. در بسیاری از موارد، اگر طرف بازنده در رقابت بین این اعداد، تعصبی به برند گوشی خود داشته باشد، با این جمله از گوشی خود دفاع میکند که «نتیجهی این بنچمارکها هیچ نسبتی با استفادهی روزمره از دستگاه ندارد».
علیرغم اینکه اپلیکیشنهای تولید بنچمارک مثل AnTuTu همواره در حال تلاش برای نزدیک کردن آزمونهای خود به شرایط استفادهی واقعی هستند، حرف بازندهی مزبور تا حدی درست است؛ اما باز هم با این وجود نمیتوان گفت نتایج بنچمارکها به کلی بیمعنی و بیفایده است.
شبیهسازی استفادهی کاملاً واقعی گوشیهای مختلف بدون استفاده از نرمافزارهایی که از پیش به خوبی برنامهریزی شده باشند، امری غیر ممکن است. اگر بخواهیم عامل انسانی را نیز به آزمون اضافه کنیم، با حجم زیادی از فعالیتهای ترکیبی مواجه میشویم که یک نرمافزار نمیتواند تمام آنها را پیشبینی کند. اما این مسئله الزاماً یک اتفاق بد نیست.
بدون داشتن آزمونهایی که عامل انسانی را در نظر نمیگیرند و از سختافزار در شرایطی برابر کار میکشند، امکان مقایسه در شرایط برابر وجود نخواهد داشت. اگر قرار باشد بنچمارکها را به بالاترین حدی که انسان در استفادهی معمولی متوجه تفاوت آن میشود محدود کنیم، با بیش از 20 مدل گوشی مواجه خواهیم بود که در یک سطح ردهبندی میشوند. این مسئله مثل این است که تمامی آزمونهای سرعت خودروهای برتر دنیا را به حداکثر سرعت 160 کیلومتر در ساعت محدود کنیم؛ به این دلیل که کسی در حالت عادی با سرعتی بالاتر از آن رانندگی نمیکند.
آزمونهای کارایی همیشه برای علاقهمندان به دستگاهها و برای پی بردن به سطح محدودیت آنها اهمیت دارد. در واقع کسی که به یک فروشگاه مراجعه میکند، بر اساس میزان امتیاز آنتوتوی گوشیها، بین دو محصول متفاوت مثلاً سامسونگ و الجی انتخاب نمیکند؛ اما مردم به رقابت و به رخ کشیدن داراییهایشان علاقه دارند و گوشیهای هوشمند نیز از این قاعده مستثنی نیستند.
به محض اینکه شرکتهای تولیدکننده متوجه شوند افراد به بنچمارکها اهمیت میدهند، مسابقه از همان لحظه شروع میشود. در پایان شرکتها میتوانند با اعدادی ساده، قدرت و بهتر بودن محصول خود را نمایش دهند. بنچمارکهای AnTuTu و Geekbench در دنیای موبایل را میتوان با عدد Lap Time یا مدت زمان طی یک دور خودروها در پیست مسابقه مقایسه کرد.
آیا زمان دور زدن خودرو در یک پیست اتومبیلرانی مشهور اطلاعات زیادی در مورد نحوهی استفادهی روزمرهی خودرو به شما میدهد؟ مسلماً نه. اما این عدد نشان میدهد که این خودرو تا چه اندازه سریع و پرقدرت است. در مورد گوشیها نیز تفاوت زیادی از این نظر وجود ندارد.
البته درست مثل هر رقابت دیگری، بعضی از افراد در اهمیت دادن زیادهروی میکنند. دیده شده است که بعضی از سازندگان گوشیهای هوشمند در بنچمارکها تقلب کرده و نتایج بالاتری تولید میکنند. این کار با بهینهسازی گوشی برای رسیدن به عملکردی بالاتر از حالت عادی در زمان اجرای اپلیکیشنهای بنچمارک ممکن میشود. این کار مثل این است که در مسابقهی سرعت بین خودروها، موتور یک محصول تقویت شده و با میزان اسب بخار بیشتری در مسابقه شرکت کند (اتفاقی که واقعاً میافتد و همه نیز از آن خبر دارند). این مسئله باعث میشود بعضی از افراد در مورد درستی بنچمارکها به کلی شک کنند، اما از سوی دیگر توسعهدهندگان اپلیکیشنها نیز ثابت کردهاند که امتیازاتی که با این روشهای تقلبی ثبت میشوند را از جداول رقابتی حذف کنند.
بنچمارکها چه چیزی را نشان میدهند؟
موضوع را باز هم با بنچمارکهای خودرویی مقایسه کنیم؛ میزان صفر تا صد (مدت زمانی که طول میکشد خودرو از حالت ایستاده به سرعت 100 کیلومتر در ساعت برسد) یک خودرو چیزی نیست که در استفادهی معمول در دنیای واقعی خیلی احساس شود؛ اما باز هم یک معیار مهم است زیرا شتابی را نشان میدهد که خودروی شما میتواند در صورت نیاز به آن برسد. به همین ترتیب، وقتی یک اپلیکیشن بنچمارک یک صحنهی سهبعدی پیچیده را روی گوشی شما اجرا میکند، امتیاز آن نشاندهندهی توانایی گوشی در کنترل بازیهای سهبعدی سنگین خواهد بود.
از آنجا که آزمونهای بنچمارک معمولاً حجم ثابت و مشخصی دارند، از جهت راستیآزمایی ادعاهایی تولیدکنندگان در بهبود هر محصول نسبت به نسل قبل نیز حائز اهمیت هستند. برای مثال وقتی یک شرکت مدعی است که پردازندهی گرافیکی جدیدش میتواند 25 درصد سریعتر از نسل پیشین باشد، نتایج همین آزمونها میتوانند این مسئله را بررسی کنند. اگر کاربران متعدد با اختلاف قابل توجه، نتیجهای کمتر از این میزان را دریافت کنند، میفهمیم که ادعای شرکت درست نیست.
با رسیدن گوشیهای هوشمند به نقطهای که تجربهی کار با گوشیهای رده بالا بین نسلهای مختلف تقریباً غیر قابل تشخیص شده است، بدون وجود اپلیکیشنهای بنچمارک دیگر نمیتوانیم در مورد بهبود سرعت چیپهای جدید قضاوت دقیقی داشته باشیم. سؤالی که حالا پیش میآید، این است که «اگر استفادهکنندگان نمیتوانند متوجه تفاوت شوند، چرا تولیدکننده باز هم چیپهای سریعتری میسازد؟». پاسخ این سؤال این است که توسعهدهندگان نرمافزارها نیز همواره برنامههایی را میسازند که بیش از پیش از کارایی دستگاه استفاده میکنند. در واقع میتوان گفت نرمافزار و سختافزار به طور مداوم، یکدیگر را به سمت جلو هدایت میکنند.
تمامی اعدادی که از بنچمارکها بیرون میآید، تنها به کار مقایسه و رقابت با سایر گوشیها نمیآیند. بعضی از این نتایج مثل میزان عمر باتری، تا حد بسیار خوبی میتواند در دنیای واقعی نیز حس شده و بر اساس آن، از گوشی انتظار داشته باشیم. البته باز هم تنظیمات نور صفحه و انواع مختلف استفادههایی که از دستگاه میشود روی میزان استفاده اثر خواهد گذاشت. اما وقتی گوشی در همان شرایط معمول مورد بررسی قرار گیرد، محصولی که امتیاز بالاتری کسب کرده واقعاً میتواند مدت زمان بیشتری بدون نیاز به شارژر سپری کند.
مورد دیگری که میتوانیم انتظار داشته باشیم در آینده شاهد آن باشیم، معرفی بنچمارکهای پیچیدهی جدید است. برای مثال آزمونهایی که بتوانند ویژگیهای مبهم جدید محصولات موجود در بازار را مورد بررسی قرار دهند؛ ویژگیهایی مثل عملکردهای مربوط به هوش مصنوعی که این روزها در بسیاری از محصولات جدید در مورد آنها تبلیغ میشود. با کمک این آزمونها کاربران میتوانند دریابند که این تبلیغات به معنای واقعی تفاوت قابل حسی ایجاد میکنند یا تنها عناوینی برای بالا بردن فروش محصولات هستند.
در نهایت باید بگوییم که بنچمارکها نیامدهاند تا در همین وضعیت حاضر خود باقی بمانند. این آزمونها میتوانند در آینده نقش بزرگتری را نیز ایفا کنند. قدرت محصولات روز به روز بالاتر میرود و نیاز به آزمونهای جدید برای فناوریهای جدید به کار رفته در گوشیهای هوشمند بیشتر احساس میشود. علاوه بر این، شاید روزی برسد که یک ربات انساننما تحت کنترل هوش مصنوعی، بتواند تجربهی کاربری یک انسان را در گوشی مورد بررسی قرار دهد و نتایجی بسیار واقعیتر و قابل درکتر در اختیار ما قرار دهد.
منبع : شهر سخت افزار