Statybos veiklos duomenų srautas į SQL ir Power BI
Statybos sektoriaus kliento veiklos įrašai buvo išorinėje API ir vietinėse ataskaitų sistemose.
Problema
Duomenims reikėjo patikimo kelio į normalizuotas SQL struktūras ir Power BI paruoštus rodinius.
Esamos sistemos
- Išorinė veiklos API
- Vietinis SQL Server
- Power BI
Apribojimai
- Srautas turėjo veikti vietinėje aplinkoje pagal grafiką.
- Sinchronizavimui reikėjo pakartojimų ir operacijų ribų.
- Infrastruktūros detalės neviešinamos.
Sprendimo architektūra
Vietinis .NET ETL išgauna API duomenis, transformuoja ir įkelia juos į SQL bei pateikia Power BI paruoštus rodinius.
Tekstinis aprašymas
- API
- ETL
- SQL Server
- Power BI
Įgyvendinimas
Sukurtas API–SQL ETL su puslapiavimu, pokyčių sinchronizavimu, pakartojimais ir suplanuotu vykdymu.
Naudotos technologijos
- C# / .NET
- SQL Server
- Dapper
- PowerShell
- Windows Task Scheduler
Rezultatas
- Sukurtas struktūrizuotas veiklos duomenų srautas.
- Parengti Power BI skirti rodiniai.
Pamokos ir pritaikomas modelis
- Duomenų išgavimas, transformavimas ir ataskaitų rodiniai turi būti projektuojami kaip vienas srautas.