Podpora, servis a rozvoj datového skladu

Krátký popis

Předmětem veřejné zakázky podpora, servis a rozvoj datového skladu Jihočeské univerzity v Českých Budějovicích.

Řešení datového skladu na JU je vytvořeno v cloudovém prostředí MS Azure na speciálním databázovém frameworku. Datový sklad získává data primárně ze studijního systému (STAG), finančního systému (IFIS), personálního systému (EGJE), systému a centrálního registru identit (IDM), systému pro publikační činnosti (OBD), systému pro hodnocení akademických pracovníků (HaP) a manuálních tabulek.
Dodavatel se zavazuje udržovat řešení aktuální s moderními datovými standardy a dostupnými cloudovými nástroji. Včetně aktualizací a možnosti školení uživatelů. Aktualizace by měly směřovat k jednodušší správě, provozu celého řešení a samostatnosti odběratele.

Framework pro datový sklad je provozován v cloudovém prostředí MS Azure. Jeho cílem je zjednodušit celý proces vývoje, tak, aby administrátor byl schopný bez náročného vyvíjení přidávat, upravovat nebo odebírat databázové objekty. Framework je postaven na robustním systému metadat, skrze které je řízen celý datový sklad. Obsahuje celou řadu kontrolních mechanismů zamezují incidentům, které by vedly ke ztrátě nebo znehodnocení dat.

Metadata a model driven development
• základem frameworku je datový model obohacený o provozní metadata, který tvoří zdroj pro generování databázových objektů
• proces tvorby metadat je automatizován pomocí Power Apps a DevOps principů
Komponentně stavěná struktura
• framework je tvořen moduly, které lze v případě potřeby přidat do hotového řešení nebo z nich na začátku projektu vybírat jen to, co je potřeba
• jednotlivé komponenty řeší činnosti jako logování, řízení datové kvality, data lineage, archivaci dat atd.
SW komponenty
• Azure SQL Server
• Azure Data Factory (V2)
• Azure Logic App
• Automation Account
• Azure DevOps
• Powerapps
• Azure AI Services
• Azure Storage Account (ADLS2)
• Výhledově Microsoft Fabric

STAGE
• Denní snímek – určen pro nápočet skladu pro daný den, může se jednat o full load nebo inkrement
• Historický snímek – určitý počet nedávných denních snímků pro přepočet DWH (rollback) – klouzavých 6 měsíců
• Archiv – po uplynutí 6 měsíců se data přesouvají do archivu, kde zůstávají delší dobu a mohou být odtud ručně obnoveny do tabulek s historickými snímky. Archiv má roční partitioning a funguje tak, že obsahuje vždy celý rok – 2 a aktuální část roku – 6 měsíců (koresponduje s 6 měsíci historické vrstvy). Po kompletaci roku – 6 měsíců (ze kterého se v tu chvíli stává rok - 2 a vše se posouvá) dochází k odmazání nejstaršího roku z archivu. Archiv používá columnstore indexy s archivační kompresí. Aktuálně nastavené hranice stárnutí dat lze změnit (6 měsíců, 2 roky).

DWH
• Denní load – technická vrstva zjednodušující celý nápočet, která umožňuje plně automatizovanou historizaci. Není určena pro koncové uživatele, ani pro reporting. Jedná se o nápočet dat k jednomu okamžiku (čímž zjednodušuje život vývojářům). Administrátorům poskytuje možnost si kdykoliv do této vrstvy napočítat data za libovolný den, který jim STAGE dovoluje.
• Historická vrstva – hlavní zdroj dat DWH obsahující historizované záznamy v podobě odpovídající modelu. Do tabulek je potřeba se dotazovat s ohledem na platnost záznamů, datum platnosti a příznak smazaných záznamů. Vrstva je určena pro zkušené uživatele (powerusers) a analytiky.
Reportovací vrstva – zdroj pro reporting, zajišťuje nejběžnější filtrování a transformuje data do méně běžných, avšak vyžadovaných formátů (např. pro regulatorní a výkaznické potřeby). K této vrstvě mají přístup běžní uživatelé v reportovacích nástrojích (PowerBI). Dodavatel by měl být schopný tvorby a správy simulačních reportů pro modelování budoucího vývoje.

Orientační objem dat v datovém skladu JU
STAGE: počet tabulek 746; počet řádků 11 130 712 332
DWH: Počet tabulek 217; počet řádků 148 387 731

Popis veřejné zakázky

Předmětem veřejné zakázky podpora, servis a rozvoj datového skladu Jihočeské univerzity v Českých Budějovicích.

Řešení datového skladu na JU je vytvořeno v cloudovém prostředí MS Azure na speciálním databázovém frameworku. Datový sklad získává data primárně ze studijního systému (STAG), finančního systému (IFIS), personálního systému (EGJE), systému a centrálního registru identit (IDM), systému pro publikační činnosti (OBD), systému pro hodnocení akademických pracovníků (HaP) a manuálních tabulek.
Dodavatel se zavazuje udržovat řešení aktuální s moderními datovými standardy a dostupnými cloudovými nástroji. Včetně aktualizací a možnosti školení uživatelů. Aktualizace by měly směřovat k jednodušší správě, provozu celého řešení a samostatnosti odběratele.

Framework pro datový sklad je provozován v cloudovém prostředí MS Azure. Jeho cílem je zjednodušit celý proces vývoje, tak, aby administrátor byl schopný bez náročného vyvíjení přidávat, upravovat nebo odebírat databázové objekty. Framework je postaven na robustním systému metadat, skrze které je řízen celý datový sklad. Obsahuje celou řadu kontrolních mechanismů zamezují incidentům, které by vedly ke ztrátě nebo znehodnocení dat.

Metadata a model driven development
• základem frameworku je datový model obohacený o provozní metadata, který tvoří zdroj pro generování databázových objektů
• proces tvorby metadat je automatizován pomocí Power Apps a DevOps principů
Komponentně stavěná struktura
• framework je tvořen moduly, které lze v případě potřeby přidat do hotového řešení nebo z nich na začátku projektu vybírat jen to, co je potřeba
• jednotlivé komponenty řeší činnosti jako logování, řízení datové kvality, data lineage, archivaci dat atd.
SW komponenty
• Azure SQL Server
• Azure Data Factory (V2)
• Azure Logic App
• Automation Account
• Azure DevOps
• Powerapps
• Azure AI Services
• Azure Storage Account (ADLS2)
• Výhledově Microsoft Fabric

STAGE
• Denní snímek – určen pro nápočet skladu pro daný den, může se jednat o full load nebo inkrement
• Historický snímek – určitý počet nedávných denních snímků pro přepočet DWH (rollback) – klouzavých 6 měsíců
• Archiv – po uplynutí 6 měsíců se data přesouvají do archivu, kde zůstávají delší dobu a mohou být odtud ručně obnoveny do tabulek s historickými snímky. Archiv má roční partitioning a funguje tak, že obsahuje vždy celý rok – 2 a aktuální část roku – 6 měsíců (koresponduje s 6 měsíci historické vrstvy). Po kompletaci roku – 6 měsíců (ze kterého se v tu chvíli stává rok - 2 a vše se posouvá) dochází k odmazání nejstaršího roku z archivu. Archiv používá columnstore indexy s archivační kompresí. Aktuálně nastavené hranice stárnutí dat lze změnit (6 měsíců, 2 roky).

DWH
• Denní load – technická vrstva zjednodušující celý nápočet, která umožňuje plně automatizovanou historizaci. Není určena pro koncové uživatele, ani pro reporting. Jedná se o nápočet dat k jednomu okamžiku (čímž zjednodušuje život vývojářům). Administrátorům poskytuje možnost si kdykoliv do této vrstvy napočítat data za libovolný den, který jim STAGE dovoluje.
• Historická vrstva – hlavní zdroj dat DWH obsahující historizované záznamy v podobě odpovídající modelu. Do tabulek je potřeba se dotazovat s ohledem na platnost záznamů, datum platnosti a příznak smazaných záznamů. Vrstva je určena pro zkušené uživatele (powerusers) a analytiky.
Reportovací vrstva – zdroj pro reporting, zajišťuje nejběžnější filtrování a transformuje data do méně běžných, avšak vyžadovaných formátů (např. pro regulatorní a výkaznické potřeby). K této vrstvě mají přístup běžní uživatelé v reportovacích nástrojích (PowerBI). Dodavatel by měl být schopný tvorby a správy simulačních reportů pro modelování budoucího vývoje.

Orientační objem dat v datovém skladu JU
STAGE: počet tabulek 746; počet řádků 11 130 712 332
DWH: Počet tabulek 217; počet řádků 148 387 731

Popis možností

Zadavatel si v souladu s ustanovením § 100 odst. 1 zákona vyhrazuje právo změny závazku (opční právo) ve výši 1 600 000,- Kč bez DPH.
Zadavatel si vyhrazuje změnu ceny služeb, které se mohou zvýšit o průměrnou roční míru inflace za předchozí kalendářní rok. Úprava výše cen bude provedena od 1. ledna následujícího roku podle vyhlášené průměrné míry inflace za předchozí kalendářní rok Českým statistickým úřadem nebo jinou k tomuto pověřenou státní institucí na základě písemného oznámení Zhotovitele, jenž bude obsahovat výši inflace a nově stanovenou výši cen. Dodavatel doručí písemné oznámení dle předchozí věty Dodavateli do 15 dnů ode dne zveřejnění průměrné míry inflace za předchozí kalendářní rok Českým statistickým úřadem. Neučiní-li tak, ke zvýšení ceny nedojde. Zadavatel pro úplnost uvádí, že v případě, že se smluvní strany dohodnou o sepsání dodatku ke smlouvě, má tento pouze deklaratorní účinky.

Seznam a stručný popis podmínek

Účastník čestně prohlašuje, že je způsobilým ve smyslu § 77 odst. 1 ZZVZ svým podpisem formuláře nabídky. Vybraný dodavatel před podpisem smlouvy prokáže způsobilost předložením výpisu z obchodního rejstříku, pokud je v něm zapsán, či výpisu z jiné obdobné evidence, pokud je v ní zapsán.

Seznam a stručný popis výběrových kritérií

Technická kvalifikace dle § 79, odst. 2, písm. b) ZZVZ:
Účastník čestně prohlašuje, že splňuje požadavky na technickou kvalifikaci, a že za posledních 3 roky realizoval minimálně 5 významných služby splňující:
• tři významné služby spočívající ve vybudování Business Intelligence řešení nad databází Azure SQL Database v celkovém finanční hodnotě min. 1 mil. Kč v DPH.
• dvě významné služby spočívající ve vybudování Business Intelligence řešení ve finanční hodnotě min. 5 mil. Kč bez DPH za každé řešení

Výše uvedené účastník doloží vyplněním seznamem významných služeb ve formuláři nabídky.

Seznam a stručný popis výběrových kritérií

Technická kvalifikace dle § 79, odst. 2, písm. c) a d) ZZVZ:
Dodavatel předloží seznam techniků nebo technických útvarů, kteří se budou podílet na plnění VZ bez ohledu na to, že se jedná o zaměstnance nebo osoby v jiném vztahu k dodavateli:

• ETL developer (1 osoba)
-člen týmu zabývající se primárně přenosem dat z primárních systémů do datového skladu
-vzdělání: vysokoškolské
-zkušenosti: zkušenosti s MS Azure, zejména Azure Data Factory, 5 a více let zkušeností v oboru
-Certifikace: Azure Data Engineer Associate (zkoušky DP-200 Implementing an Azure Data Solution a DP-201 Designing an Azure Data Solution nebo DP-203 Azure Data Engineer Associate)

• BI architekt (1 osoba)
-člen týmu zabývající se architekturou a modelováním BI řešení
-vzdělání: vysokoškolské
-zkušenosti: zkušenosti s MS Azure, zejména Azure Data Factory, 5 a více let zkušeností v oboru
-Certifikace: AZ-104 (Microsoft Azure Administrator Associate) , AZ-305 (Microsoft Azure Solutions Architect Expert) , DP-600 (Fabric Analytics Engineer Associate)

• BI developer (2 osoby)
-člen týmu zabývající se databázovým vývojem
-vzdělání: alespoň jeden z nich vysokoškolské vzdělání
-zkušenosti: zkušenosti s MS Azure, zejména s MS SQL Database, 4 a více let zkušeností s vývojem v MS SQL Databázi na Azure
-Certifikace: DP-600 (Fabric Analytics Engineer Associate), alespoň jeden z nich DP-700 (Fabric Data Engineer Associate)

• AI specialista (1 osoba)
-Člen zabývající se vývojem a správou AI řešení.
-vzdělání: vysokoškolské
-zkušenosti: zkušenosti s implementací Azure AI Service, Azure Machine Learning Studio
-certifikace: AI-102 (Azure AI Engineer Associate)

• Power BI analytik (2 osoby)
-člen týmu zabývající se vývojem Power BI reportů
-vzdělání: vysokoškolské
-zkušenosti: 5 a více let zkušeností s tvorbou reportů v Power BI
-Certifikace: PL-300 Power BI Data Analyst Associate

Prokázání splnění výše uvedeného dodavatel splní předložením profesních životopisů a certifikací členů realizačního týmu, ze kterých bude splnění výše uvedených požadavků vyplývat.

Seznam a stručný popis výběrových kritérií

Technická kvalifikace dle § 79, odst. 2, písm. e) ZZVZ:

Účastník prohlašuje, že je schopen zajistit plnění v požadované kvalitě. Účastník prokáže splnění technické kvalifikace tím, že předloží doklad o zavedení:
• systému managementu bezpečnosti informací podle normy ČSN EN ISO 27001 nebo jiného rovnocenného systému, který zajišťuje řízení bezpečnosti důvěry informací pro zaměstnance, procesy, IT systémy a strategii firmy;
• systému řízení jakosti podle normy ČSN EN ISO 9001 nebo jiného rovnocenného systému.

Zadavatel uzná rovněž jiné doklady o rovnocenných opatřeních k zajištění odpovídající úrovně řízení kvality nebo bezpečnosti informací.

Přesné informace o lhůtě (lhůtách) pro přezkumné řízení

Podmínkou pro podání návrhu k ÚOHS je podání námitek k Zadavateli, které je nutné doručit do 15 dnů ode dne, kdy se stěžovatel dozvěděl o domnělém porušení zákona Zadavatelem, nejpozději však do uzavření smlouvy nebo do chvíle, kdy se soutěž o návrh považuje po výběru návrhu za ukončenou.

Námitky proti úkonům oznamovaným v dokumentech, které je Zadavatel povinen podle zákona uveřejnit či odeslat stěžovateli, musí být doručeny Zadavateli do 15 dnů od jejich uveřejnění či doručení stěžovateli.
Pokud je v zadávacím řízení stanovena lhůta pro podání žádostí o účast, musí být námitky proti podmínkám vztahujícím se ke kvalifikaci dodavatele doručeny Zadavateli nejpozději do skončení této lhůty.
Pokud je v zadávacím řízení stanovena lhůta pro podání nabídek, musí být námitky proti zadávacím podmínkám doručeny Zadavateli nejpozději do skončení této lhůty. Námitky proti obsahu výzvy k podání nabídek v dynamickém nákupním systému nebo při zadávání veřejné zakázky na základě rámcové dohody musí být zadavateli doručeny nejpozději do konce lhůty pro podání nabídek. V soutěži o návrh musí být námitky proti soutěžním podmínkám doručeny nejpozději do konce lhůty pro podání návrhů. Zadavatel může v zadávací dokumentaci nebo soutěžních podmínkách stanovit, že námitky podle § 242 odst. 3 nebo 4 zákona lze podat nejpozději 72 hodin před skončením lhůt podle § 242 odst. 3 nebo 4 zákona.

Námitky proti dobrovolnému oznámení o záměru uzavřít smlouvu podle § 212 odst. 2 zákona musí být doručeny Zadavateli do 30 dnů od uveřejnění tohoto oznámení.

Zadavatel je povinen námitky vyřídit do 15 dnů. Návrh je nutné doručit ÚOHS i Zadavateli do 10 dnů ode dne, v němž stěžovatel obdržel rozhodnutí, kterým Zadavatel námitky odmítnul nebo do 25 dnů od odeslání námitek, pokud Zadavatel o námitkách nerozhodl.

Po uzavření smlouvy na veřejnou zakázku či rámcové dohody lze podat pouze návrh na uložení zákazu plnění smlouvy, a to i bez předchozího podání námitek. Návrh na uložení zákazu plnění smlouvy doručí navrhovatel ÚOHS a ve stejnopisu Zadavateli do 30 dnů ode dne, kdy Zadavatel uveřejnil oznámení o uzavření smlouvy způsobem podle § 212 odst. 2 zákona s uvedením důvodu pro zadání veřejné zakázky bez uveřejnění oznámení o zahájení zadávacího řízení, předběžného oznámení nebo výzvy k podání nabídek ve zjednodušeném podlimitním řízení, nejpozději však do 6 měsíců od uzavření této smlouvy. Návrh na uložení zákazu plnění smlouvy podle § 254 odstavce 1 písm. d) zákona doručí navrhovatel ÚOHS a ve stejnopisu Zadavateli do 30 dnů ode dne, kdy Zadavatel uveřejnil oznámení o uzavření smlouvy na základě rámcové dohody podle § 137 zákona nebo oznámení o uzavření smlouvy v dynamickém nákupním systému podle § 142 zákona, nejpozději však do 6 měsíců od uzavření této smlouvy.

Ve lhůtě pro doručení návrhu je navrhovatel povinen složit na účet ÚOHS kauci ve výši 1 % z nabídkové ceny navrhovatele za celou dobu plnění veřejné zakázky nebo za dobu prvních čtyř let plnění v případě smluv na dobu neurčitou, nejméně však ve výši 50 000 Kč, nejvýše ve výši 10 000 000 Kč. V případě, že navrhovatel nemůže stanovit celkovou nabídkovou cenu, je povinen složit kauci ve výši 100 000 Kč. V případě návrhu na uložení zákazu plnění smlouvy je navrhovatel povinen složit kauci ve výši 200 000 Kč. Jde-li o řízení o přezkoumání postupu pro zadávání koncesí, je navrhovatel povinen ve lhůtě pro doručení návrhu složit na účet ÚOHS kauci ve výši 1 % z předpokládané hodnoty koncese uveřejněné ve Věstníku veřejných zakázek nebo na profilu Zadavatele, nejméně však ve výši 50 000 Kč, nejvýše ve výši 10 000 000 Kč. V případě, že Zadavatel neuveřejní ve Věstníku veřejných zakázek nebo na profilu Zadavatele předpokládanou hodnotu koncese, je navrhovatel povinen složit kauci ve výši 100 000 Kč. V případě návrhu na uložení zákazu plnění koncesní smlouvy je navrhovatel povinen složit kauci ve výši 200 000 Kč.