Lupasin edellisessä blogissani vertailla kahta eri online-mittausta keskenään, kun ne mittaavat samaa sivustoa. Kuinka samanlaisia tai erilaisia tuloksia kaksi eri mittausjärjestelmää tuottavat? En tällä kertaa ottanut vertailuun mitään suomalaista mittausjärjestelmää kuten Snoobi tai TNS Metrix, joiden tuloksia varmaan monet suomalaiset analyytikot ovat vertailleet Google Analyticsiin, vaan otin GA:n rinnalle toisen pitkän linjan amerikkalais-mittarin, WebTrendsin, joka maksaa pienelle sivustolle 20-30 euroa per kuukausi.
Liikenneluvut: ällistyttävän yhdenmukaiset luvut 2 eri mittarista
Google Analytics näytti tarkastellulle sivustolle huhtikuussa 2011 13,656 vierailukertaa (visits), WebTrends 13,071 vierailua. Ensi vaikutelma oli, että onkohan WebTrendsistä siis sivuja tagittamatta, jotka ovat mukana GA-mittauksessa, mutta katsotaan kohta tätä tarkemmin sivukohtaisista tuloksista.
Eri kävijöissä WebTrends oli saanut 11,040 eri cookieta, jotka se raportoi "vierailijoina" (visitors), joiden eroa vierailukertoihin (visits) ei kuitenkaan kunnolla täsmennetä. Help-teksteissä kerrotaan, että vierailija on "Number of individuals who visited your site during the report interval." Yksilöiden eli "individuals" määrä kuitenkin siis käytännössä lasketaan suoraan cookeista, ilman mitään korjauskertoimia. GA raportoi 11,152 "absoluuttista yksilöityä vierailijaa" ja kertoo että näin monta "henkilöä" kävi palvelussa, mutta pelkistä cookeista toki tässäkin on kyse, ei mistään estimaatista siitä, paljonko cookien takana on eri ihmisiä.
Mielenkiintoista on se, että WebTrends kertoo, kuinka suuri osa vierailukerroista oli sellaisia, joissa selain ei hyväksynyt tarjottua cookieta - näitä oli jopa 15,9 % vierailukerroista. Eli jos jopa yli 15 % vierailuista ei kirjaudu vierailijatilastoihin, jotka lasketaan cookeista, niin tämä hyvin kuvastaa, kuinka "aukottomia" ja "absoluuttisen yksilöityjä" kävijät oikeasti ovatkaan - kaukana siitä.
Eri kävijöiden luvut kahdesta eri mittauksesta kuitenkin siis täsmäsivät jopa 1,0 % tarkkuudella, jota voidaan pitää suorastaan ällistyttävän tarkkana, ottaen huomioon, että Google Analytics jakaa 1. osapuolen cookieta ja WebTrends paljon enemmän blokattua 3. osapuolen cookieta. Kaksi eri mittausta tukevat siis erittäin tarkasti toisiaan kävijälaskennassa.
Sivupyynnöissä GA mittasi 25,654 ladattua sivua, WebTrends 22,598 sivua. Oliko kyse siitä, että WT oli puutteellisesti tagitetty? Tämä paljastuu helposti, kun katsotaan ladatuimpien sivujen tilastoa. WT raportoi "vierailut" ja sivulataukset kullekin yksittäiselle sivulle. Eniten oli tietysti ladattu saitin etusivua, jolle WT laski 1,957 näyttökertaa. Google sen sijaan raportoi etusivulle 2,018 sivun katselukertaa.
Seuraavat 5 ladatuinta sivua eri mittareilla:
2. suosituin sivu: WT 943 - GA 929 - ero 1,5 %
3. suosituin sivu: WT 445 - GA 450 - ero 1,1 %
4. suosituin sivu: WT 392 - GA 390 - ero 0,5 %
5. suosituin sivu: WT 386 - GA 352 - ero 9,7 %
6. suosituin sivu: WT 350 - GA 346 - ero 1,1 %
Enimmäkseen siis 1-1,5 % tarkkuudella samoja tuloksia, mutta etusivun osalta oli 3 % ero tuloksissa, ja 5. suosituimman sivun osalta liki 10 % ero. Etusivun osalta tilanne on selvä, eri mittaukset käsittelevät eri tavoin saman sivun eri versioita, jos sivusta on esim. index.htm, index.html ja pelkkä www.domain.fi/ -versio. Osa mittareista osaa automaattisesti yhdistää nuo samaksi sivuksi, osa antaa käyttäjälle mahdollisuuden kertoa, mikä on sivuston default-sivu, ja sen eri versiot. Jos oletussivua ei ole määritelty, mittausohjelmisto laskee eri versiot etusivusta erillisinä sivuina.
Enemmän päänvaivaa Web-analytikolle aiheutti sitten tuon yhden suositun sivun liki 10 % ero tuloksissa. Kuten yleensäkin, vika löytyi sivuston päästä: samasta sivusta oli luotu uusi versio eri URLilla, ja WT yhdisti ne samaksi sivun titlen perusteella, GA käsitteli niitä URLien mukaisesti kahtena eri sivuna. WT:ssä oli myös näppärä ominaisuus hakea sivuja, joissa on sama Page Title.
Sivulatausten määrän suurehko ero (13,5 % GA:n hyväksi) perustui myös siihen, mitä sivuja mittarit mittasivat: Google Analyticsiin oli mahdollista tagittaa samaan raporttiin tai profiiliin myös alidomain, WT mittasi vain päädomainin tapahtumia, alidomain oli eri raportissa.
Liikenteen lähteet - suuri ero "suoran liikenteen määrässä"
Olen ollut tyytyväinen siitä, että Web-analytiikan gurut ovat olleet kanssani samaa mieltä siitä, että tärkein raportti analytiikassa on "liikenteen lähteet" eli mistä liikenne tulee sivustolle. Tässä pieni vertailu tämän osalta Google Analyticsin ja WebTrendsin välillä. WT kutsuu raporttia hieman yllättävästi "Marketing Dashboardiksi", josta voi sitten valita tarkemmin Referring Sites, viittaavat sivustot. Google raportoi fiksusti "liikenteen lähteet", josta voi tarkastella yleiskatsausta, erikseen hakukoneita, erikseen kaikkia viittaavia sivustoja.
Sivuston 5 tärkeintä liikenteen lähdettä kahden eri mittarin mukaan samalle sivustolle:
Google Analytics:
1. Google Organic 7,568 käyntiä
2. Suora liikenne (Direct/none) 1,513 käyntiä
3. Yahoo Organic 714 käyntiä
4. Bing Organic 566 käyntiä
5. Wikipedia 465 käyntiä
Web Trends raportoi kaikki eri Google-saitit domaineittain, jolloin tilasto on aika eri näköinen:
1. Google.com 4,192 käyntiä
2. Suora liikenne 2,536 käyntiä
3. Google.co.uk 836 käyntiä
4. Bing.com 600 käyntiä
5. Wikipedia 447 käyntiä
Jos WebTrendsistä laskee kuitenkin yhteen kaikki Google-vierailut, niin summaksi tulee 7,495 käyntiä.
Tämähän täsmää taas Google Analyticsin raportoimiin Googlen orgaanisiin hakuihin hämmästyttävällä tarkkuudella (0,97 %). Hieman sekaannusta GA:n statistiikassa aiheuttavat Googlen eri domainien referral-sivut, mutta niillä tarkoitetaan hakukoneiden ulkopuolisia Google-sivuja (kuten Google Groups). Tietenkin jos saitilla on maksullista Google-mainontaa, GA myös raportoi sen erikseeen.
Eniten hämmennystä mittarien tuloksissa aiheuttaa suorien kävijöiden pieni osuus Google Analytics-tilastoissa. Eli GA luki suoriksi käynneiksi vain 1,513 käyntiä, WebTrends 2,536 käyntiä. WebTrendsin määrittelyissä suoria kävijöitä ovat kaikki käynnit, joissa referrer-tieto puuttuu. Kun katsotaan Google Analytics-tilastoista yksittäisiä referrer-sivuja, esim. Facebook.com:ille GA laski 258 viitekäyntiä, WT ainoastaan 93. WT:llä näyttää olevan selviä ongelmia saada referrer-tietoa verrattuna Googleen.
Samaa puuttuvaa dataa WT:n tilastojen osalta vihjaa avainsana-tilasto, jossa samoille sanapareille GA näyttää huomattavasti enemmän, jopa 30-60 % enemmän osumia kuin WT.
Muu statistiikka: Google luotettavampi monessa
Moni muu statistiikka suorastaan hämmentää, miten erilaisia mittarit ovat! WebTrendsin vierailumaa (countries)-tilasto on suorastaan säälittävä. Tunnistamatta jää suoraan 13 % kävijöistä, ja USA:sta on WT:n mukaan vain 1,502 (10,4 %) vierailuista, kun Google Analyticsin mukaan USA:sta on 6,734 käyntiä, joka on 49,3 % kaikista vierailuista sivustolla. WT:n data on täyttä roskaa, kun "other"-kaatoryhmään, jonka sisältöä ei kerrota, jää 71,2 % tapauksista - eli lopulta maatieto on saatu oikeasti vain runsaat 15 % vierailuista! Kannattaisiko silloin koko raportti poistaa, jos se on tuota tasoa...
Toinen statistiikka, jossa WebTrends epäonnistuu täysin, on selaintilasto. Jos WT:tä olisi uskominen, saitin kävijöistä vain 13,7 % käyttäisi Firefoxia. GA raportoi 25,0 % Firefox-käyttäjää. WT-tilastojen hataruus paljastuu taas suuresta "other"-kaatoluokasta, jonne on kasattu peräti 42 % selaimista - Google Analyticsiltä ei jää yksikään tunnistamatta. Markkinatutkimuksen raportoinnin ja taulukoinnin alkeet olisivat WT-nikkareille tarpeen, eli tulokset kannattaisi tässä tapauksessa raportoida vain tunnistetuista selaimista, jolloin Firefoxin osuus nousisi 23,5 %:iin.
Google jakaa kaikki raportoimansa kuukauden 13,656 käyntiä joko uusiin tai paluukäynteihin. Sitä ei tietysti paljasteta, että cookien torjuneet ovat automaattisesti aina uusia kävijöitä tilastoissa! Google raportoikin paluukäynneiksi vain 3,402 käyntiä eli vajaa 25 %. WebTrends antaa täysin eri kuvan paluukävijöiden määrästä: se raportoi 7,314 paluukäyntiä (50,7 %), vaikka se raportoi suoraan, että 15,4 % käyntiä ei pystytty luokittelemaan, kun mittaus-cookieta ei hyväksytty. Uusiksi kävijöiksi WT hyväksyy vain kävijät, jotka ottavat mittaus-cookien vastaan, mutta joilla ei ollut sitä saapuessaan sivustolle. Tämä on ilman muuta luotettavampi tilasto kuin Google Analyticsin vastaava, jossa kaikki selaimet, joista ei saatu mittaus-cookieta takaisin, lasketaan "uusiksi kävijöiksi", vaikka kyse voi tosiaan olla siitä, että selain ei hyväksynyt cookieta.
Tilasto, joka tunnetusti puuttuu Google Analyticsistä, on kävijöiden domainit, mutta kun kuluttajasaitilla niistä suuri osa on operaattoreita, niin eipä tuolla datalla mitään tee WebTrendsinkään puolella, jossa se on listattuna.
Vierailun keston ongelmallisuus
Vierailun kestoa varmasti moni Web-analyytikko on tottunut pitämään yhtenä tärkeimmistä avainluvuista sivustatistiikassa. Google Analytics raportoi saitille 1:46 minuutin keskimääräisen vierailuajan, WebTrends 1:28 minuuttia. Kumpikaan ei kuitenkaan paljasta sitä, että vierailun kestoajan laskennasta on poistettu kokonaan yhden sivun vierailut. Ja että viimeisen sivun lukuaikaa ei ole vierailun kestossa mukana.
WT raportoikin suoraan yhden sivun vierailujen määrän, joka on 82 % kaikista käynneistä - siis vierailun kesto on laskettu vain alle viidesosasta käyntejä, koska muissa vierailuissa ei ole ollut käytössä kuin ensimmäisen sivun latausaika, ja toista sivua ei ole tullut, josta voitaisiin laskea ensimmäisen sivun lukuaika. Ja kuten tunnettua, viimeisen sivun lukuaikaa ei tiedetä - ilman Java-mittausta.
WT:n raportissa huomiota kiinnittää se, että sinne on laitettu rivi "mediaani vierailun kesto", jonka kohdalla oli kuitenkin pelkkä viiva. Kun vierailun keston jakauma on hyvin vino, aritmeettinen keskiarvo kuvastaa tietenkin kovin huonosti "keskimääräistä" vierailun pituutta, ja mediaani olisi siihen parempi keskiluku, mutta kyllähän tuokin tilasto on kovin valheellinen, jos datasta ensin leikataan 82 % lyhintä vierailua eli yhden sivun lataukset...
Itse suosittelisinkin vierailun keston käyttämistä lähinnä liikenteen eri lähteiden keskinäiseen vertailuun, mutta absoluuttisena lukuna se antaa kyllä kovin valheellisen kuvan todellisesta vierailun kestosta sivustolla, etenkin jos saitilla on paljon yhden sivun vierailuja, kuten esimerkkitapauksessamme.
Johtopäätökset
Summa summarum: WebTrendsissä oli vain muutama piirre, jossa se päihitti ilmaisen kilpailijansa. Lähinnä paluukävijöiden osuus oli WT:ssä luotettavampi tieto, koska suoraan tunnustettiin ja raportoitiin selaimet, joista tuota tietoa ei voitu saada, kun Google surutta nakkeli nämä "uusiksi kävijöiksi", eli vinoutti roimasti tilastoa siihen suuntaan, että uusia kävijöitä olisi enemmän. Muilta osin tuomio WT:lle on tyly: miksi maksaa palvelusta, joka ei juuri tarjoa mitään, mitä ei saa ilmaisesta GA:sta. Puhumattakaan siitä, että verkkokaupan tarpeisiin konversio-mittareineen ja hakumainonnan tehon mittaukseen GA on täysin ylivertainen halpaan mutta maksulliseen WebTrendsiin nähden. Toki WT:llä on sitten järeämpiä maksullisia ratkaisuja verkkoliiketoiminnan tarpeisiin, esim. ostajasegmentointi yms.
Tärkeintä vertailussa oli kuitenkin se, että itse liikennelukujen osalta mittarit tukivat loistavasti toisiaan, ja antoivat jopa prosentin tarkkuudella samoja lukuja. Näin siitäkin huolimatta, että toinen mittareista toimi kolmannen osapuolen cookien varassa eri selaimien laskennassa, ja raportoi suoraan, että cookien hylänneitä oli 16 %.
Toivottavasti tämä katsaus kuitenkin samalla valaisi sitä, miten kaukana ollaan Web-maailmassakin aukottomasta ja sataprosenttisen tarkasta datasta. Osaavalle datan tulkille on ehdottomasti paikkansa!
- Ismo Tenkanen