Vertailun arvosteluperusteina on objektiivisia mittauksia sekä subjektiivisia käyttökokemuksia – laitteiden käyttömukavuushan selviää vain niitä kokeilemalla. Sama pätee esimerkiksi some-palvelujen toimivuuden arviointiin.

Kännykkävertailussa tehdään keskimäärin kymmenkunta erilaista mittausta ja käyttömukavuustestiä. Kun kaikki tarvittavat mittaukset on tehty ja havainnot kirjattu, testaajat tekevät vielä yhteisen yhteenvedon vertailun laitteiden arvioinneista.


TM-MITTAUKSET:

KUULUVUUS
NÄYTÖT
KAMERAT
KÄYTTÖMUKAVUUS JA OMINAISUUDET


Tähtien taustalla mittaukset ja käyttökokeet

Pisteytyksen ja tähdityksen lisäksi jokaisesta laitteesta annetaan muutama sitä parhaiten kuvaava arvosana hyvää/huonoa -osioon. Mittausten ja käyttökokeiden arviointi on testaajille tuttua toimintaa.

TM-vertailuissa mukana olevat testaajat tehneet arviointeja ja mittauksia jo muutaman vuosikymmenen ajan ensin kuvan- ja äänentoistolaitteiden ja sittemmin matkapuhelinten parissa. Käytännössä siis niin kauan kuin kännyköitä on ylipäätään ollut olemassa.

Testaajien määrittämät osa-alueiden arvosanat kootaan yleisarvosanaksi seitsemän osatekijän yhdistelmällä. Osatekijöiden vaikutus arvosanaan on määritetty erisuuruisilla painokertoimilla:

  • koko ja paino 5
  • toiminta-aika 15
  • kuuluvuus 15
  • näyttö 20
  • kamera 15
  • käyttömukavuus 15
  • ominaisuudet 15
  • yleisarvosana 100 %

Taskuun ja käteen sopiva

Puhelimen koko on vaihdellut paljon vuosien varrella. Nykyisten älypuhelinten kaudella merkittäväksi tekijäksi on tullut iso näyttöruutu, jonka koko on suurentunut lähes pienten tablettitietokoneiden kokoluokkaan.

Yli 6-tuumaisella näytöllä varustetun kännykän käyttö ei onnistu yhdellä kädellä, jolloin myös laitteen paino kasvaa helposti kohtuulliseksi katsottua 150 grammaa suuremmaksi.

Toimittava koko päivän

Puhelimen akun olisi annettava virtaa mielellään koko työpäivän ajaksi. Akkua kuluttavia toimintoja ovat näytön valaistus, langattomien verkkojen käyttö ja varsinkin videokameralla kuvaaminen.

Puhelinten toiminta-ajat mitataan suurehkolla vakiokuormituksella, mikä mittaustapa antaa käytännössä lyhimmän mahdollisen toiminta-ajan. Vertailun laitteet asetetaan toistamaan verkosta ladattavaa videoleikettä niin sanottuna suoratoistona.

Jokaisesta puhelimesta kirjataan aika, jonka laite kykenee näyttämään videokuvaa ja toistamaan ääntä akun kertalatauksella näytön ollessa suurimmassa kirkkausasetuksella. Tämän jälkeen laitteiden akuta ladataan täyteen ja latausajat merkitään pöytäkirjaan. Akkujen lataus/purkujaksoja toistetaan vähintään kolme kertaa.


Kuuluvuus

Alkuun
Kuuluvuusarvosana koostuu sekä radioyhteyden että akustisen yhteyden laatutekijöistä.

Radiokuuluvuuden arvioinnit tehdään käyttötestin aikana käytännön yhteyskokeilla. Varsinaiset vertailukelpoiset yhteyskokeet tehdään käyttämällä vertailun laitteita muutamassa erikseen mitatussa paikassa, joissa tietyn operaattorin kuuluvuus on järjestelmän alarajan tuntumassa. Yhteyden katkeilut tai datanopeuden laskut merkitään pöytäkirjaan.

Lopuksi kerätään monen mielestä se tärkein vertailutieto eli puhelinten laajakaistaominaisuuksien ja tiedonsiirtonopeuksien mittaukset.

Käytämme tarvittaessa ulkopuolisten mittauslaboratorioiden palveluja, esimerkiksi antenniyhteyksien kautta tehtävissä datanopeusmittauksissa. Niissä selviää kunkin puhelimen antennien toimivuus.

Mittaukset suoritetaan radiokaiuttomassa testihuoneessa.

Osa puhelimien antennin kautta tehtävistä kuuluvuus- ja nopeusmittauksista tehdään tarvittaessa laboratorio-olosuhteissa. Olemme vuosien varrella tehneet yhteistyötä Grant4Com Oy:n kanssa Oulussa sijaitsevassa testikeskuksessa. Radiotaajuuksilta vaimennettu huone estää ulkopuolisia verkkoja häiritsemästä mittauksia.

Puhelinäänen ja musiikkisoittimen laatu puntarissa

Puhelinäänen laatu on parhaimmillaankin kovin vaatimaton. Eri puhelinten äänentoistossa on silti kuultavia eroja.

Kännyköiden sähköakustisten ominaisuuksien tutkiminen on hankalaa, koska ne edellyttävät erikoiskalustoa ja -osaamista.

Hyvillä korvakuulokkeilla varustettu puhelimen musiikkisoitin pystyy korkeatasoiseen äänentoistoon, mutta toista on puhelinyhteyden tekninen laatu. Se, kuten tunnettua, on valovuoden päässä niin sanotusta hifilaadusta, sillä puhelinverkko välittää vain kapean siivun ihmisäänen taajuuksista ja sävyistä.

Syy ei siis ole laitteissa. Vaikka yhteyden molemmissa päissä olisi studiotasoiset mikrofonit ja huippukuulokkeet, jäädään kauas luonnonmukaisesta äänentoistosta. Matkapuhelinverkon puheyhteyksien välitykseen varattu tiedonsiirtokapasiteetti ei salli parempaa äänenlaatua. Kyse on lähinnä tekniskaupallisten resurssien perusteella tehdyistä valinnoista.

Ymmärrettävyyden ehdoilla

Kuuntelijan korvaan tulevasta, voimakkaasti pelkistetystä puheäänestä voi olla vaikea saada selvää. Puheesta voi olla vaikea kuulla, onko puhuja tuttu ihminen; mies, nainen, lapsi vai aikuinen. Kuulija ei myöskään tiedä mitä ja minkä verran yhteyden toisessa päässä kuuluvasta ääni-informaatiosta jää välittymättä.

Puhelinäänen ymmärrettävyys on tietenkin ykköskriteeri, se kuinka hyvin puhe on ymmärrettävissä linjan toisessa päässä. Ymmärrettävyyskynnys alittuukin yllättävän usein, jos sanojen asiayhteys on epäselvä tai puuttuu kokonaan. Kokonaisten lauseiden sanoma välittyy siis varmemmin, kuin sarja peräkkäisiä toisiinsa liittymättömiä sanoja.

Äänen tärkein ominaisuus ovat puheäänen soinnillisesta osuudesta vastaavat perustaajuudet (100–800 Hz) ja niitä tukevat kerrannaistaajuudet (800–2 000 Hz). Mukautuvan kuuloaistimme ansiosta, puheviesti tulee ymmärretyksi, vaikka perustaajuuksien voimakkuus on paljon kerrannaisia pienempi.

Joka tapauksessa kuulija joutuu käytännössä arvaamaan samalta kuulostavat sanat puheen asiayhteyden perusteella.

Hyvän puhelinäänen laatua kuvataan sanoilla luonnollisuus tai selkeys. Niillä tarkoitetaan, että ihmisääni välittyy kuulijalle suhteellisen säröttömästi. Matkapuhelinverkossa kulkevan, bittivirraksi pakatun äänisignaalin virallinen taajuusalue on 300–3 400 hertsiä. Monet puhelimet toistavat jonkun verran myös 100–300 hertsin taajuuksia, vaikkakin selvästi vaimentuneina.

Häiritsevin tekijä on puheäänen perustaajuuksia vääristävä särö. Puhelinäänen harmoninen särö on tyypillisesti puolen prosentin luokkaa. Sitä suuremmilla säröillä kuulijalle tutunkin puhujan ääni muuttuu tunnistamattomaksi tai kaksi eri puhujaa kuulostaa yhdeltä ja samalta ihmiseltä.

Mittaukset kenttäkokeiden tukena

Tulevan ja lähtevän puhelinäänen laatu määritetään sekä kuuntelukokein että TM-testilaboratorion erikoismittalaitteilla. Äänenlaatu arvotetaan alustavasti yhteydenpitokokeiden aikana kahden tai useamman testaajan toimesta. Varsinkin aiemmissa vertailuissa puhelinten äänenlaadussa todettiin merkittäviä eroja. Teemme äänimittaukset lähtökohtaisesti puhelinten kiinteän kuulokkeen (pienoiskaiutin) kautta.

Puhelimen äänenlaatua arvioidaan koepuhelujen lisäksi myös mittaamalla taajuusvaste keinopäähän sijoitetulla mikrofonilla.

Mittaukset eivät ole itsetarkoitus; eikä tarkoitus ole tehdä puhelinten tyyppihyväksyntätestejä, vaan todentaa malli- ja merkkikohtaiset äänenlaatuerot. Mittaustuloksia käytetään nimenomaan vertailun kokonaisarvostelun eli TM-tähdityksen tukena.

Sähköiset äänimittaukset ovat suhteellisen suoraviivaista toimintaa. Tutkittavaan puhelimeen lähetetään verkon kautta joukko testisignaaleja, jotka johdetaan puhelimelta mittauslaitteille.

Voidaan kysyä, ovatko äänimittaukset ylipäätään käyttökelpoisia puhelinten äänenlaadun arvioinnissa, jos ne tehdään teknisesti näin vaatimattoman verkon yli. Sähköiset mittaukset ovat silti perusteltavissa; niillä paljastavat aikariippuvaiset vääristymät, jotka myös heikentävät puhelimen tulevan lähtevän akustisen äänen laatua.


Näyttöjen mittaukset

Alkuun
Näyttöruudun kuvantoisto-ominaisuudet ovat yksi tärkeimmistä älypuhelinten käyttökokemukseen vaikuttavista tekijöistä. TM-vertailuissa näytön ominaisuudet tutkitaan varsin yksityiskohtaisesti.

Lcd-led- eli led-valaistuissa nestekidenäytöissä väriasteikko ja harmaasävyt muodostetaan punaista, sinistä ja vihreätä valoa säteilevillä pikseliryhmillä. Osavärien kirkkaussuhteiden tulee olla tarkasti oikeat, jotta kaikki sävyt toistuvat luonnollisina.

Näyttöjen värintoiston norminmukaisuus mitataan 0–100 prosentin kylläisyystasoilla. Nollatasolla eli mustavalkoisessa harmaasävykuvassa ei saa näkyä värejä. Mittaustulokset sijoitetaan CIE1976-normissa määritettyyn värikolmioon. Siinä näkyvät kolmen pää- ja kolmen välivärin sävy- sekä kylläisyysarvot.

Vertailuissa mitataan myös muut näyttöjen luettavuuteen vaikuttavat tekijät, kuten kirkkaus, kontrastisuhde ja värilämpötila, joka täydentää värimittauksia lähinnä harmaasävytoiston osalta.
Normitettujen valonlähteiden ideaaliarvo on 6500 kelviniä (K). Se vastaa väritöntä valkoista.


⬛ Näyttöjen värintoiston pitäisi seurata normin määrittämiä tasoja. Videolla näkyy, kuinka värikolmiot elävät värikylläisyyden vaihtuessa 0–100 prosentiin. Mittaustuloksia verrataan CIE1976-normissa määritettyyn värikolmioon. Siinä näkyvät kolmen pää- ja kolmen välivärin sävy- sekä kylläisyysarvot.


Vielä 3–4 vuotta sitten, näytöissä ilmeni kuvan kirkkauden ja värikylläisyyden mukaan muuttuvia virheitä varsinkin tummien sävyjen kohdalla. Nykyään niitä ei juurikaan tavata.

Puhelinnäyttöjen kirkkausarvot ovat keskimäärin kaksinkertaistuneet viimeisten 10 vuoden aikana. Lcd-led- eli led-valaistuissa nestekidenäytöissä, huippuvalkoisten ja mustien kohtien välinen kirkkausero eli kontrastisuhde on suurentunut osapuilleen saman verran. Poikkeuksen tekevät amoled-näytöt (active-matrix organic light-emitting diode). Niissä ruudun tummia kohtia ei valaista lainkaan, joten kontrastisuhde voi olla periaatteessa ääretön.

Rajaton kontrasti ei kuitenkaan merkitse rajattomasti parempaa kuvanlaatua. Kun kyseessä on puhelimen kokoinen, suhteellisen pieni valonlähde, ihmissilmä erottaa korkeintaan noin 1:2000:n kontrastisuhteita. Vertailun mittauksissa amoled-näyttöjen kontrastisuhteeksi kirjataankin yli 3 000 eli riittävä.

Näyttöjen luettavuus kirkkaassa valossa, pikselikuvat ja kylmäkokeet

Useimmissa älypuhelimissa on näytön kirkkautta ympäröivän valaistustason mukaan säätävä automatiikka. Se pienentää akkuvirtaa, kun puhelinta käytetään vähässä valossa. Toisin kuin joskus on esitetty, mikään säätöautomatiikka ei tee puhelimen näytöstä luettavaa esimerkiksi aurinkoisella uimarannalla. Tässä suhteessa näytöissä onkin vielä paljon kehittämistä.

Näyttöjen luettavuuserot selviävät, kun näyttöön suunnataan kirkkaan päivävalolampun keila. Näytön tekstiä ja värejä sisältävä testikuvio kuvataan lukituilla kamera-asetuksilla.

Siksi vertailuissa tutkitaan myös näyttöjen luettavuuserot. Kunkin puhelimen näyttöön suunnataan kirkkaan päivävalolampun keila. Näytössä, jossa on tekstiä ja värejä sisältävä testikuvio, kuvataan lukituilla kamera-asetuksilla.

Mittausvaiheessa näyttöpaneeleista otetaan myös mikroskooppikuvat, jotka antavat vertailevaa tietoa näyttöjen pikselirakenteiden eroista. Parempien älypuhelinten näyttöjen kuvanterävyydessä ei kuitenkaan ole käytännön eroja. Ihmissilmän terävänäön raja nimittäin ylitettiin viimeistään vuoden 2013 puhelinmalleissa.


Kameramittaukset

Alkuun
Puhelinten kameroilla tallennetuista digikuvista tutkitaan niiden värintoiston luonnollisuus, kuvan rakeisuus ja erottelu (terävyys) erilaisissa valaistuksissa.

Koekuvaukset tehdään kameroiden automaattiasetuksilla, joten parhaiden kuvausasetusten valinta jää automatiikan tehtäväksi.

Kännykkäkameroiden kuvanlaadun arviointiin kuuluu yhtenä osana eritilanteissa tehtävät koekuvaukset.

Pyörivä testitaulu ja tietokoneanalyysejä

Kamerapuhelinten video-otoksissa todettiin jo aikaa sitten häiritsevää nykimistä. Koska maailmalla ei tunneta normitettua liikkuvan kuvan arviointiperusteita, kehitimme sellaisen. Liiketoiston tasaisuusmittauksessa käytetään vakionopeuspyöritintä, johon voidaan asettaa erilaisia testitauluja.

Varsinkin 2010-luvun alun kännyköiden mittaukset osoittivat, että videokamerat saattavat jättää jatkuvasti yksittäisiä ruutuja tallentamatta, varsinkin käytettäessä kameran täysteräväpiirto- eli 1080p-asetusta.

Kuvaruutujen puuttuminen tekee liikkuvasta kuvasta häiritsevän nykivän. Virhe näkyy varsinkin katseltaessa otoksia ison taulu-tv:n ruudulta. Uudempien älypuhelinten tehokkaat moniydinsuorittimet ja 4–8 gigatavun työmuistit ovat kuitenkin poistaneet videokuvan nykimiset.

Kamerapuhelinten video-otoksissa on todettu häiritsevää nykimistä. Liiketoiston tasaisuusmittauksessa käytetään vakionopeuspyöritintä, johon voidaan asettaa erilaisia testitauluja.

Kamerapuhelinten mittausohjelmaan kuuluu myös kuvauksissa syntyneiden mpeg4-videotiedostojen tietokoneanalyysi. Liikkuvan kuvavirran analysointiohjelma kertoo kameran käyttämät koodausparametrit, kuten tallennuksessa käytetyn bittivirran nopeus. Eri puhelinvalmistajat käyttävät kameroissa hyvinkin erilaisia koodausasetuksia; yksi tallentaa otokset mahdollisimman pieninä tiedostoina, toinen mahdollisimman laadukkaina.

Koska kuvanlaatuanalyysiä varten ei ole vakiintunutta normiasteikkoa, kehitimme sellaisen. Asteikko on laadittu vuosien mittaan tekemiemme koekatselujen perusteella. Liikettä sisältävän videokuvan laatu määräytyy lähinnä neljän koodausparametrin mukaan, jotka on asetettu 5-portaiseen grafiikkaan.

Liiketoiston laadun kannalta merkittäviä tekijöitä ovat kuvabittivirran nopeus (keskellä) ja kolme vasemmanpuoleista parametria. Mikäli video-otoksen makrolohkojako (äärimmäinen vasemmalla) on liian pieni, liikkuviin yksityiskohtiin tulee epämääräistä ”kihinää”.

Seuraava parametri on ruuturyhmän pituus (toinen vasemmalta). Se vaikuttaa huomattavasti otosten tiedostokokoon. Jos tämä arvo on 30 tai suurempi, tiedostoista tulee suhteellisen pieniä. Toisaalta, samalla kaikki kuvassa näkyvä liike toistuu luonnottoman nykivänä.

Varsinaisissa videokameroissa, joissa otosten tiedostokoko ei ole ongelma, kuva koodataan korkeintaan arvolla 12. Videokameroissa käytetään myös kaikkia kolmea ennusteruututyyppiä (i/p/b), jolloin kuvassa tapahtuvat nopeat liikkeet eivät sumennu näkyvästi. I/p/b-koodaus vaatii kameran kooderipiiriltä enemmän laskentatehoa kuin yksinkertaisempi i/p-koodaus.

Vaikka nykyisissä kamerapuhelimissa on jo tuhdisti laskentatehoa, puhelinvalmistajat käyttävät vain i/p-koodausta. Ratkaisu saattaa johtua siitä, että valmistaja haluaa välttää patenttisuojattujen koodausmenetelmien lisensiointimaksuja.

Kuvavirran bittinopeus vaikuttaa periaatteessa kaiken liikkuvan kuvan laatuun. Kuten kuvanlaatugrafiikka osoittaa, puhelin A:n kameran bittinopeus (20 Mbit/s) riittäisi laadukkaaseen kuvaan.

Liian pitkien ruuturyhmien (60) takia otoksissa näkyy silti hitaiden liikkeiden luonnotonta nykimistä. Oikealle sijoitetut liikkumattoman kuvan parametrit ovat kuvataajuus, kuvan pystyerottelu ja kuvapikseleiden koodaustarkkuus. Jos jotain niistä pienennetään, elävän kuvan luonnollisuus kärsii riippumatta siitä, kuinka hyvin muut koodausparametrit on valittu.


Käyttömukavuus ja ominaisuudet

Alkuun
Puhelinvertailuihin kuuluu aina useamman testaajan käyttökokeet. Kukin arvioi itsenäisesti laitteiden kokoa, muotoa, painoa, käyttömukavuutta, suorituskykyä sekä laite- että ohjelmistokohtaisia ominaisuuksia.

Laitteille tehdään nopeustestejä käyttäen tavanomaisia testisovelluksia kuten muun muassa Geekbench, AnTutu, PCMark, 3DMark ja Basemark.

Jotkut älykännyköistä kestävät huonosti kylmää ja pakkasta. Jo pelkkä kosketusnäyttöön perustuva käyttöliittymä voi sekin aiheuttaa omat hankaluutensa.

Moni haluaa saada puhelimensa korvalle mahdollisimman vaivattomasti, joten puhelinta tulee pidettyä päällystakin taskussa. Talvella kännykkä voi siis päästä jäähtymään jopa siinä määrin, että laite sulkee itsensä.

Talviaikaan sijoittuvissa vertailuissa tutkimme tarpeen mukaan myös laitteiden kylmäkestävyyden. Käyttövalmiina ja verkossa olevat puhelimet lastataan muutamaksi tunniksi pakastimeen. Sitten ne otetaan esiin yksi kerrallaan ja tehdään koesoitto, ennen kuin laite on lämmennyt. Samalla kokeillaan kameran ja kosketusnäytön toimivuus kylmänä.

Matkapuhelinten ominaisuudet arvostellaan kokonaisvaltaisesti niiden käytettävyyden, suorituskyvyn ja ominaisuuksien perusteella – unohtamatta yhteyksien ja liitäntöjen toimivuutta.