Terabajtov podatkov se lotevamo s sodobno analitiko

Analitik, ki hoče potegniti smiselne zaključke iz množice podatkov, mora te podatke poznati, kar je zelo velik izziv.

Objavljeno
11. marec 2016 15.58
Miran Varga
Miran Varga

Količina podatkov v poslovnih okoljih se zelo hitro povečuje. Danes imajo organizacije vseh velikosti opravka s terabajti podatkov, nekatere med njimi celo že s petabajti podatkov. Od kod vsi ti podatki, se vprašate?

Del podatkov ustvarijo delovni procesi in zaposleni v podjetju, del najrazličnejši senzorji, zelo velike količine podatkov pa prispevajo zunanji viri – tako partnerji kot dobavitelji in predvsem družabna omrežja. Zakaj podjetja potrebujejo vse te podatke? Predvsem zato, da bi razumela, kdo in zakaj so kupci njihovih izdelkov ali storitev ter kaj si pravzaprav želijo.

Podjetjem obvladovanje vseh teh podatkov pomeni velik izziv. Jasno je, da ročno delo odpade, pomagati mora tehnologija. Veliko podjetij se velikih podatkov, kot se njihovim ogromnim količinam priljubljeno reče v zadnjih letih, loteva s sistemi za napredno analitiko. In medtem ko strokovnjaki za obdelavo podatkov v njih iščejo različne trende in posebnosti, direktorji še vedno zrejo v svoje direktorske sisteme in rešitve za poslovno obveščanje, ki na ta bazen podatkov vendarle niso priklopljene. Pravzaprav jim niti ni treba. Vseeno pa potrebujejo dobro prečiščene podatke o poslovanju, ki jih odločevalcem nato prikažejo v grafično privlačni in pregledni obliki.

Največji izziv v celotni verigi

»Analitik, ki hoče potegniti smiselne sklepe iz množice podatkov, mora te podatke poznati. Gre za ogromen izziv, morda največjega v celotni verigi. Podatki, ki jih združujemo, lahko pridejo iz različnih virov. Njihova kakovost in zanesljivost lahko zelo nihata. Dodatna težava je lahko sama širina podatkov – tabele nimajo samo milijona vrstic, ampak tudi na stotine stolpcev. Delno si sicer lahko pomagamo z orodji, ki podatke parcialno statistično obdelajo in nam tako omogočijo, da podatke nekako začutimo. Večinoma pa še vedno potrebujemo analitika, ki pozna tako podatke kot svet, ki ga ti podatki rišejo,« izzive zbiranja in obdelave podatkov komentira Jože Marinček, vodja področja BI v podjetju Agito in prvi Microsoftov partnerski tehnolog za strojno učenje v Sloveniji.

Integracija napredne analitike velikih podatkov s sistemi poslovnega obveščanja je pomemben korak k doseganju čim prejšnje povrnitve naložb v tehnološke novotarije. Omenjene rešitve se lahko močno dopolnjujejo – medtem ko napredna analitika omogoča globlji vpogled v podatke in njihovo raziskovanje, rešitev za poslovno obveščanje tem podatkom zagotavlja preglednost v obliki strukturirane uporabniške izkušnje.

Prav bogastvo možnosti vizualizacije podatkov, poročil in pregleda metrik poslovanj, ki ga prinašajo rešitve za poslovno obveščanje, je tisto, ki naredi napredno analitiko na velikih podatkih tako zelo uporabno in dobičkonosno.

Moč vizualizacije podatkov

Podjetja vseh velikosti so že spoznala, da slika pove več kot tisoč besed. O tem priča tudi strma rast prodaje rešitev za vizualizacijo podatkov, ki je samo v zadnjih petih letih presegla že tako neverjetnih 400 odstotkov. Toda rešitve, kot so QlikView, Tableau, Microsoft Power BI in druge vendarle same po sebi še niso vsemogočne. Analitiki se pri uporabi teh rešitev srečujejo z veliko izzivov, s katerimi se pri svojem delu sicer ukvarjajo programerji.

Poznavanje podatkov in njihovih omejitev ter posebnosti smo že omenili. Vse to je namreč pomembno za končni rezultat – pregledno in smiselno vizualizacijo, ki jo bo razumel ciljni uporabnik – bodisi generalni direktor, finančni direktor, direktor prodaje ali vodja posameznega oddelka.

Področje prikaza oziroma vizualizacije zahteva veliko ustvarjalnosti in veščin upodabljanja, ki jih programerjem navadno primanjkuje. Proizvajalci poslovne programske opreme zato zaposlujejo vse več oblikovalcev in tako imenovanih direktorjev uporabniške izkušnje.

Slednji poskušajo ugotoviti, kateri načini vizualizacije podatkov so posameznim uporabnikom najbolj blizu in jih v obliki prednastavljenih poročil in grafov implementirati v rešitve poslovnega obveščanja. Poslovna analitika je prišla prav tudi proizvajalcem programske opreme – s spremljanjem komunikacije uporabnikov posamezne rešitve, pretežno na družabnih omrežjih, so dobili veliko odgovorov in idej o tem, kaj je uporabnikom dejansko všeč in kaj ne.

»V preteklosti smo bili priča poplavi namenskih aplikacij, ki so reševale zelo konkretne in dejanske probleme. Po funkcionalnosti so bile profesionalni izdelki, žal pa je njihova podoba na strani uporabnika spominjala na stojnico s hitro hrano – kričeče barve, skupaj nametan prikaz gore informacij … Danes je drugače, večina ponudnikov pri oblikovanju vizualizacije sledi vzorcem, s katerimi so si uporabniki že domači. Veliko jih upošteva načelo več je manj,« ugotavlja Marinček.

Ne pozabimo na hitrost obdelave

Dobro znan pregovor pravi »Čas je denar«. Orodja za vizualizacijo podatkov večinoma podatke, ki jih obdelujejo, naložijo v pomnilnik. Zadnje jim omogoča fleksibilnost pri združevanju podatkov, a podjetje kaj hitro lahko trči na omejitve glede razpoložljive strojne opreme. Napredne tehnike normalizacije in stiskanja podatkov te meje sicer premaknejo nekoliko dlje, a niso vedno zadostna rešitev. To omejitev poskušajo v zadnjih letih odpraviti kar ponudniki sami, saj svoja orodja ponujajo tudi kot storitve iz računalniškega oblaka. Hitrost obdelave nenadoma ni več težava, se pa izziv preseli drugam – kako bodo do ponudnika kar se da hitro prenesli velike količine podatkov (prek interneta)?

»Včasih počasna obdelava ne moti – če si rezultate lahko pripravimo čez noč, nam je precej vseeno, ali računalniki delajo takrat, ko mi spimo. Če pa ni tako in hkrati nimamo možnosti pretakanja velikih podatkov v podatkovni center ponudnika storitve, lahko posežemo po specializiranih algoritmih ter rešitvah, ki omogočajo obdelavo v računalniških gručah in mrežah. Najceneje je, če znamo podatke porezati že na vhodu. Na koncu bomo vendarle v roki obdržali le prgišče številk, in če znamo to storiti prej, smo na zmagovalni poti. Žal pa to vedno ni mogoče,« zaključuje Marinček.