VODA

Projekt Shmu o kvantite a kvalite vodných hladín

V projekte "voda" som mal, ako hlavný databázový programátor, na starosti vývoj webovej aplikácie o kvantite a kvalite vodných tokov.Vývoj prebiehal v databázovom prostredí postgres na frontende Apache Superset.Projekt, vzhľadom na komplexnú množinu dát a vyšší počet zapojených subjektov, bol od začiatku špecifickým a predstavoval výzvu. Vzhľadom na moju súťažnú povahu, som to bral ako priestor na zdokonalenie a nadobudnutie nových vedomostí zo sveta open source technológií či spoznaniu princípu fungovania menších firiem a projektov Európskej Únie.O špecifickosti projektu hovorí aj fakt,že na začiatku som nastúpil ako jediný databázový programátor a na konci nás bolo až 10. Hlavným cieľom projektu bolo zjednotiť predtým roztrúsené aplikácie do jednej bez budúceho plytvania štatnými zdrojmi. Mojou úlohou bolo transformovať údaje z pôvodnej databázy Oracle do postgres a nájsť spôsob ako optimalizovane a zrozumiteľne navrhnúť reporting,aby odozva databázy a aplikácie nebola dlhá a aby to spĺňalo najprísnejšie kritériá a to škálovateľnosť a budúcu udržateľnosť.Ďalšou potrebou bolo napasovať reporting na Apache superset,ktorý sprincipu skôr bránil ako pomáhal. Na začiatku sme podľa postgres optimizera navrhli databázu a cez datapump stiahli údaje z Oracle. Následne sa vytvorili štruktúry nových tabuliek a do nich sa naliali údaje pre reporting.Následne sa začali tvoriť reporty. Pre potrebu reportingu sme zvolili funkcie so vstupnými parametrami s preddefinovanými hodnotami,ktoré na výstupe vracali SQL dopyt. Toto riešenie bolo v porovnaní s tabuľkovými a materializovanými pohľadmi,ktoré sa na reporting bežne používajú najefektívnejšie. Po vymyslení spôsobu spracovania, sme obdržali od zákazníka množstvo nových reportov,ktoré predtým v Oracle neboli a tak sa zvýšila potreba prijatia nových databázistov,aby sa projekt stihol do roka dodať. Vzhľadom na nedostatok skúsených pracovníkov na trhu,som bol nútený zacvičiť aj testerov,java programátorov alebo analytikov do písania SQL skriptov.Vznikla tak potreba robiť školenia,ktoré môžete nájsť v časti Blog. Okrem samotných reportov sme zistili,že štruktúra dát sa bude počas projektu meniť a tak sme vymysleli etl proces,ktorý transformoval data z nových štruktúr do štruktúr potrebných pre reporty.Medzitým prebehlo viackrát kolo migrácie od externého dodávateľa, po ktorom sme ladili transformačné procesy. Vďaka ducha prítomnému manažmentu firmy a lojalným zamestnancom, sa s pripomienkami podarilo odovzdať projekt v riadnom termíne.

Prínos pre firmu

Projekt mi priniesol vedomosti o nových open source technológiách a dokázal,že ak je dobré vedenie projektu a spoločné nastavenie tímu, dajú sa veci dotiahnuť do konca aj keď to tak nevyzerá.Rovnako ukázal,že aj ľudia s menšími vedomosťami z databázového sveta môžu pomôcť ak sa im dá potrebné školenie.