BI Portál

Snowflake je cloudová platforma pro ukládání a analýzu dat, která poskytuje širokou škálu služeb pro práci s daty – datového skladu, datového jezera (lake), data science a sdílení dat. Byla založena v roce 2012 a od té doby se velmi rychle šíří díky své schopnosti efektivně zpracovávat velké objemy dat, jedinečné architektuře a díky škálovatelnosti... Příspěvek Snowflake | Architektura, Cena (Pri…

Dnes bych se chtěl opět podrobněji podívat jaké možnosti nabízí ChatGPT plus co se týče analýzy dat. V minulém článku jsme pomocí Chat GPT provedli finanční analýzu společnosti NVIDIA. Dnes využijeme stejnou ChatGpt funkci, která nám umožňuje nahrát data a podíváme se jak může vypadat statistická analýza v podání Chat GPT, když tomu dáme volnou... Příspěvek ChatGPT Plus (OpenAI) | Pokročilá stati…

V minulém článku jsme otestovali ChatGPT bota co se týče statistické analýzy. Dnes se podíváme na matematiku. Zkusíme nechat vyřešit ChatGPT příklad na binomickou větu (středoškolská matematika – gymnázia a technické odborné školy). Uvidíme, že se to moc nepodařilo. To mě tedy poměrně dost překvapilo, protože jsem si myslel že AI bude v exaktních vědách... Příspěvek ChatGPT Plus (OpenAI) – Středo…

V Dbt (data build tools) jsou soubory organizovány v logické struktuře. Abychom se v projektu dlouhodobě vyznali při rostoucím množství kódu, je vhodné si v souborech udělat určitý systém. Souborová struktura dbt projektu Po inicializaci prázdného dbt dostaneme adresářovou strukturu viz níže. Root je náš dbt projekt. Uvnitř najdeme konfigurační soubory dbt_project.yml a dbt_profiles.yml a... Přís…

Jde dohromady Dbt a Snowflake? Jasně na pohodu a pokud to ještě zabalíte do nějakého ETL/orchestračního nástroje jako například Keboola (cloud) nebo Mage.ai (onprem) tak máte slušnou data mlátičku. Dnes už většina ETL frameworků (alespoň těch lepších) s dbt počítá. Lokální konfigurace Dbt a Snowflake V tomto tutoriálu počítáme s tím, že dbt máme lokálně... Příspěvek ETL | Dbt core a Snowflake – N…

Minule jsme udělali takový větší deep dive do toho jak funguje Keboola storage, jak aplikace zpracovává a jak ukládá data během nějakého flow. Dneska ukážu, jak fungují v Keboole transformace. Vytvoříme si mnohem komplexnější Flow, které napočítá data ze zdroje a poté aktualizuje Power BI report. Keboola Transformace (ETL přístup) – kdy je používat Transformace... Příspěvek ETL | Keboola – Flow T…

V předchozích článcích jsem ukazoval, jak jednoduché je v Keboole založit svoje první data flow a podrobněji jsme se podívali na páteřní prvky Flow což jsou Keboola komponenty a jejich nastavení. Jestliže páteřními prvky každého flow jsou komponenty, tak jedním z hlediska celé architektury je klíčová Keboola storage nebo-li úložiště souborů. Kebola úložiště (Storage) –... Příspěvek ETL | Keboola …

V Keboole jsou komponenty bloky, ze kterých se skládá Data Flow (pipeline). Jsou to prvky v ETL/ELT procesu, pomocí kterých se napojujeme na zdroj dat (source) nebo cíl dat (destination). Díky komponentám jsme schopni data přenášet. Díky demokratizačním nástrojům jako je Keboola není potřeba umět programovat, protože Keboola komponenty jsou již připraveny v aplikaci, stačí... Příspěvek ETL | Kebo…

V minulém díle nazvaném ETL | Keboola Free (zdarma) – Vytvoření projektu, základy jsme dělali základní seznámení s aplikací. Prošel jsem postup při založení projektu a také jsme orientačně prošli strukturu Kebooly a menu. Dneska bych se chtěl ukázat, jak jednoduché je vytvořit Keboola flow. Flow je v Keboole označení pro pipeline, data flow, datový tok... Příspěvek ETL | Keboola – Data Flow návod…

V předchozím článku jsme si udělali menší úvod- ETL | Keboola – Úvod, Pricing, Produkty – Alternativa Fivetran. Víme, že Keboola nabízí Freemium model, takže si můžeme tento nástroj vyzkoušet zdarma. Budeme muset pouze strpět limitace co se týče používání (limit počtu minut je 120). Podíváme se, jak vypadá prostředí v aplikaci a seznámíme se... Příspěvek ETL | Keboola Free (zdarma) – Vytvoření pr…

V rámci demokratizace dat a přeměny na data-driven management firem přechází čím dál tím více firem na řešení, která tuto kulturu podporují a posilují. Data se zpřístupňují širokému okruhu uživatelů pro analýzy a reporting v nástrojích jako je třeba Power BI. Na úrovni ETL nástrojů pomocí nichž provádíme datové integrace do centrálního úložiště – datového... Příspěvek ETL | Keboola – Úvod, Pricin…

Dříve platilo, že správa a zpřístupňování podnikových dat interním zákazníkům (zaměstnancům jiných oddělení) byla výlučně v rukou IT oddělení. Pokud jste chtěli nějaký report nebo datovou sestavu, museli jste napsat na IT. Potom jste počkali několik dní než se na vás dostala řada a nakonec jste dostali nějaká data. Dnes už tomu (díky bohu) u... Příspěvek Data | Demokratizace a data driven přístup…

V tomto návodu se podíváme na to, jaké funkce Mage.ai nabízí pro analýzu dat. Tento nástroj slouží primárně pro ETL pipelines, nicméně obsahuje i funkce pro explorační analýzy, datové přehledy (templates) a grafy (charts). Pomocí těchto funkcí je možné prvotní analýzu zdrojů dělat celkem pohodlně přímo z nástroje. Mage nabízí široké možnosti předdefinovaných analytických funkci... Příspěvek ETL |…

V tomto návodu se podíváme na to, jak provést v Mage.ai nastavení io_config.yaml souboru. Koukneme se také na to, jak zakrýt a zašifrovat přístupová hesla tak, aby nebyla v tomto konfiguračním souboru k dispozici. Mage.ai io_config.yaml konfigurace a umístění Soubor io_config.yaml je hlavním konfiguračním souborem pro nastavení profilů, které se pak používají v blocích pro... Příspěvek ETL | Mage…

Tento článek bude patřit tématicky k troubleshootingu. Dnes se mi podařilo tak nešikovně napsat komentář, až jsem si shodil celou instanci Mage.ai z důvodu chyby typu UnicodeDecodeError. Jak se mi to podařilo? Mage.ai chyba UnicodeDecodeError: ‘charmap’ codec can’t decode byte Mage.ai nedekódoval jeden znak “ň” specifický pro Českou republiku. Nevím jestli to může nastat i... Příspěvek Mage.ai | …