Mingel på affärsfrukost

I går pratade Andreas på ett frukostmöte i Sundbyberg inför politiker och näringsliv om modern kompetensförsörjning via vårt program Fast Track. Vi berättade om vårt samarbete med Stockholm stad och andra viktiga aktörer som stödjer oss och vårt syfte att öppna upp för målgrupper med dolda talanger inom kompetensförsörjning på IT-marknaden i Stockholm och Sverige.

Case: Data Analytics för uppkopplade väderstationer

Kunden arbetar med att samla in miljödata för historik och analys via uppkopplade automatiska väderstationer men även manuellt via en egenutvecklad mobilapp. De behövde en ny lösning för Big Data Analytics då mängden information som samlas in har ökat kraftigt tack vare nya och uppgraderade väderstationer och tillgången till en mobilanpassad webbapp.

Ignition Research fick möjligheten att hjälpa kunden med modernisering och utveckling av en ny data pipeline, men även med migrering av befintlig IT-miljö till ett nytt datacenter i molnet. 

I det här näst intill skolboksexemplet till case berättar vi om hur vi byggde upp en ny data pipeline i Google Cloud Platform för att hantera, bearbeta och slutligen analysera stora mängder väderinformation. Hur vi byggde infrastrukturen och migrerade till det nya datacentret i Google Cloud Platform kommer inom kort.

För att dra nytta av flytten från ett fysiskt datacenter till Google Cloud  Platform valde vi att använda managed services i GCP i så stor omfattning som möjligt i utvecklingen av den nya plattformen. Valet hade flera orsaker, men ett par av de kritiska punkterna i kravställningen för den nya IT-miljön var avgörande. Organisationen ville höja skalbarheten och tillgängligheten, samtidigt som minskat beroende av kunskapsintensiv arbetskraft och sänkta kostnader var viktiga punkter på agendan. Managed services i GCP, som App Engine och BigQuery, löser dessa kravställningar i stor utsträckning och adderar samtidigt möjligheter till effektivisera löpande teknikkostnader.

För att få en bättre bild av hur plattformen skulle designas behövde vi börja med att ta reda på vilken typ av data som kommer hanteras. Väderstationerna har möjlighet att samla in data från minst 10 olika sensorer, men det är inte all data som används. Den typen av data som samlas in inkluderar en stor mängd parametrar för olika väderförhållanden och partiklar i luften. Webbappen har även möjlighet att inkludera t.ex. ph-värde i jorden.

Informationen från mobilappen skickas in stötvis när användaren kopplar upp en bluetooth-enhet för inhämtning av data eller fyller i information manuellt och skickar in till systemet. Den informationen kan innehålla lagrad väderinformation från flera dagar upp till flera veckor beroende på hur aktiv användaren är. Tjänsten för att ta emot manuellt uppladdade filer byggdes i App Engine och tjänsten sköter bland annat lagring, uppdelning av datafiler och vidarebefordran av information till Google PubSub och Dataflow för ytterligare hantering och behandling.

Datan från väderstationerna skickas löpande som en dataström via Google IoT Core uppsatt med en HTTP-brygga så fort de har uppkoppling mot Internet. För att hantera den typen av inkommande dataström valde vi att konfigurera Google PubSub för hantering av meddelandena. I det fall väderstationen inte har uppkoppling till Internet buffras den strömmande datan i upp till tre dagar. Har inte väderstationen haft uppkoppling efter tre dagar slår insamlingsfunktionen över till att ta stickprover en gång i timmen tills dess att uppkopplingen är återupprättad. När det händer skickas informationen över i en eller flera datafiler till samma tjänst som mobilappen använder för manuellt uppladdad information.

Gemensamt för både uppladdade filer och strömmande data är att datan hanteras och bearbetas i Google Dataflow innan informationen slutligen landar i BigQuery, Googles Enterprise Data Warehouse.

Tillsammans med kundens statistiker tog vi fram ett antal modeller av datan i BigQuery med information om t.ex. trender på lång och kort tid, korrelation mellan olika mätvärden och publicerade till Google Data Studio för visualisering och självbetjänad analys.

Hela lösningen är övervakad av Stackdriver, med notifieringar till SMS och mejl för möjlighet till omedelbar hantering och åtgärd vid t.ex. överbelastning eller kodfel.

På kort tid byggde vi upp en kraftfull plattform för automatiserad insamling, beräkning & analys av miljödata åt kunden. Kravställningen innehöll ett antal punkter där minskad specialistkunskap och personberoende var nyckeln, något vi designade lösningen efter. De byggstenarna vi använde i GCP möjliggör även framtidssäkrad utveckling av plattformen inom områden för t.ex. Machine Learning och ytterligare orkestrering för förenklad administration.

Är ni också intresserade av hur molnlösningar från Google kan hjälpa er med Big Data Analytics? Kontakta oss i dag!

Case: Data Analytics för iGaming-operatör

Marknadsavdelningen på en iGaming-operatör hade behov av ökade insikter och analysarbete runt köpt digital marknadsföring. 

Vi hjälpte kunden att samla ihop, bearbeta och använda utspridd marknadsdata för att få en enhetlig bild av sin marknadsföring och nå nya höjder i sitt arbete att öka sina marknadsandelar.

Kundens mål för den kommande två-årsperioden var högt satta, med ökad effektivitet och ökad marknadsandel som viktigaste punkter. Önskemålen för att kunna nå dessa mål bestod bland annat av förbättrad rapportering och uppföljning med möjligheter till trender och prognoser i olika marknadsföringskanaler. Klassificeringen av information sträcker sig från  typ av kampanj, målgrupp och budskap till ett stort antal interna nyckeltal. Utöver detta fanns behov av att kunna samköra och visualisera data med andra avdelningar.

Vi fick i uppdrag att skapa en en process och pipeline för hantering, bearbetning och analys av data från köpt digital marknadsföring och interna datakällor. Vårt uppdrag hade två huvudspår:

  • Upprätta tydliga nyckeltal för att förtydliga kopplingen av marknadsdata mot affärsvärde och för användningen av data som ett verktyg i arbetet
  • Utveckla en enhetlig plattform för lagring, bearbetning och analys av marknadsdata för utvärdering och beslutsunderlag

Planeringen utgick från de olika tredjepartsverktyg som samlar in statistik om marknadsföring, t.ex. mobilappar, affiliate-kanaler, sajt-nära analysverktyg, digitala medieköp, interna databaser, CRM-verktyg och liknande informationskällor. För budgetering av projektets driftkostnad arbetade vi tillsammans med kunden för att beräkna mängden historisk data över alla datakällor och hur mycket data som adderades varje månad. Utöver kostnaden för lagring gjordes även en uppskattning av hur mycket verktyget kommer användas då det tillkommer en kostnad för behandling av data i vissa av tjänsterna i systemet.

Google App Engine valdes som plattform för att utveckla basen i flödet. Appen hanterar statiska, uppladdade datafiler från ett antal externa och interna datakällor. Den integrerades i Google Dataflow för att automatiskt, snabbt och effektivt kunna bearbeta och processa datat på rätt sätt och till det formatet vi behövde. Google Storage används för lagring av temporära filer och där det behövs mellanlagring i olika steg.

Sedan integrerade vi Dataflow med BigQuery, Googles Data warehouse-lösning, för automatisk och sömlös lagring och hantering av den bearbetade informationen. I BigQuery byggde vi de modeller vi behövde för att till slut publicera till Google Data Studio och Tableau för självbetjänad analys. De verktygen används för visualisering och analysering av t.ex. tidslinjer och viktiga nyckeltal i dashboards över flera avdelningar hos kunden.

De nyckeltal vi byggde modellerna runt handlade till stor del om att få en tydligare bild av och prognos på om de marknadsaktiviteterna som genomförts har fått förväntad kort- och långsiktig effekt. Det kunde vara t.ex. kostnadsanalys av nykunds-förvärv, återkommande spelare eller påverkansfaktorer i olika målgrupper som text, bilder och knappar.

Ett väl genomfört arbete har gett kunden en teknikplattform för kraftigt ökade insikter i planering, effekt och resultat av köpt marknadsföring och även tydliga nyckeltal och verktyg för analys av trender, prognoser och påverkansfaktorer.

På väldigt kort tid har kunden kunnat göra förändringar i både sitt taktiska och strategiska arbete för att kunna komma vidare mot de målen som finns uppsatta inför 2020.

Vill ni också kunna använda er data mer effektivt och få möjligheter till insikter för att ta er affär till nya höjder? Kontakta oss i dag!