Giggabytes

Palvelut

Raakadatasta lukuun, jonka takana voi seistä.

Kolmenlaista työtä, yleensä samassa toimeksiannossa: lakehouse-alusta, sen päälle rakennettu Power BI -semanttinen malli ja niiden välissä oleva liiketoimintalogiikka, joka ratkaisee, mikä luku on oikea.

Raportointikalenterin tarkistus: viikossa ja kiinteällä hinnalla mittaamme, kuinka paljon viikko- ja kuukausiraporttinne poikkeavat toisistaan, ja näytämme, miten yksi kalenteri korjaa sen jokaisessa raportissa. Katso kalenteritapaus

04 Muunnos

Laatu on dataputken vaihe, ei toive sen lopussa.

Duplikaattien tunnistusavain, palautuskäytäntö, se, mihin kuukauteen lauantai kuuluu: jokainen lukua muuttava sääntö on yhdessä paikassa, versioitu ja testattu ennen kuin se päätyy raporttiin.

  • Virheelliset tietueet eristetään ja lasketaan. Niitä ei koskaan pudoteta huomaamatta.
  • Jokaisen Gold-taulun rakeisuus on määritelty.
  • Tiedon alkuperä jäljittyy raportin mittarista lähdesarakkeeseen asti.

Työkalut valitaan asiakkaan alustan mukaan. Kaikissa projekteissa ei käytetä kaikkia esitettyjä työkaluja.

  1. LähdeOperatiiviset järjestelmät, tiedostot, tapahtumat ja rajapinnat.
  2. SisäänlukuInkrementaalinen ja idempotentti. Myöhässä saapuva data on odotettu tilanne, ei poikkeus.Fabric · Databricks · PySpark
  3. RaakadataSäilytetään täsmälleen toimitetussa muodossa latausmetatietoineen. Voidaan ajaa uudelleen.Delta Lake · OneLake
  4. Muunnos
    • LaatuTietotyyppi-, tyhjäarvo-, arvoalue- ja viite-eheystarkistukset. Virheet eristetään.
    • DuplikaatitLiiketoiminta-avaimet, ei pelkät rivitiivisteet. Säilytettävä tietue valitaan deterministisesti.
    • LiiketoimintasäännötPalautukset, mitätöinnit, kampanjat ja kalenterijaksot kirjoitetaan kerran.
    • HistoriaHitaasti muuttuvat dimensiot silloin, kun menneisyyden on pysyttävä toistettavana.
  5. JalostettuYhtenäistetyt dimensiot ja faktat määritellyllä rakeisuudella.dbt · SQL · Unity Catalog
  6. SemanttinenRelaatiot, mittarit ja päivämääräulottuvuus, jota jokainen raportti käyttää.Power BI -semanttiset mallit
  7. BIRaportit, jotka vastaavat myös seuraavaan kysymykseen, eivät vain ensimmäiseen.Power BI

05 Semanttinen malli

Luotettava BI on mallinnuspäätös, ei kaaviovalinta.

Yksi faktataulu määritellyllä rakeisuudella. Dimensiot, jotka säilyttävät historiansa. Päivämäärätaulu, josta jokainen raportti lukee jaksonsa. Kaaviot tulevat viimeisenä.

Fakta · yhteydessä kaikkiin neljään dimensioon

Myynti

Rakeisuus
Yksi rivi kuittiriviä kohden
Sisältää
Nettosumma, kappalemäärä ja alennus sekä avain jokaiseen dimensioon
Miksi sillä on merkitystä
Mittarit määritellään tässä kerran. Jokainen raportti käyttää niitä sellaisenaan eikä johda niitä uudelleen.

Valitse mikä tahansa taulu, niin näet sen roolin mallissa.

06 Analytiikka

Raportin pitää vastata myös seuraavaan kysymykseen.

”Liikevaihto on kasvanut” aloittaa keskustelun. Malli, jossa jokainen selittävä tekijä on dimensio, vie sen loppuun samassa raportissa ilman vientiä taulukkolaskentaan.

Liiketoiminnan kysymys

Miksi kuukauden liikevaihto muuttui?

Nettomyynti, P02 → P03: +0,41 M (8,7 %)

Nettomyynnin siltakaavio, P02–P03

Kuvitteellinen

Akseli alkaa arvosta 4,40 M.

Kauppa­päivät +0,21 M

P02:sta jäi pois yksi kauppapäivä, kun myymälät olivat pyhäpäivänä suljettuina; P03:ssa kaikki päivät olivat kauppapäiviä. Muutoksen selittää kalenteri, eivät asiakkaat.

Mallin kentät Date[IsTradingDay] · Date[HolidayName]

Kuvitteellinen nettomyynnin siltakaavio P02–P03, miljoonina
VaiheArvo
P024,70 M
Kauppa­päivät+0,21 M
Kampanjat+0,14 M
Asiakas­rakenne−0,06 M
Tuote­rakenne+0,12 M
P035,11 M

07 Teknologiat

Työkalut ryhmiteltyinä tehtävänsä mukaan.

Työkalut valitaan asiakkaan alustan mukaan. Mallinnuksen periaatteet pysyvät samoina jokaisella alustalla.

Alusta

Datainsinöörityö

  • Python
  • PySpark
  • SQL
  • dbt

Mallinnus

  • Delta Lake
  • Unity Catalog
  • Data Vault 2.0
  • Kimball

Analytiikka

  • Power BI
  • Semanttiset mallit

Infrastruktuuri

  • Terraform
  • CI/CD