Branża Business Intelligence za 5 lat – wywiad z Pawłem Potasińskim

Tematem naszej rozmowy jest Przyszłość branży Business Intelligence w okresie następnych 5 lat. Wybrałam takie zagadnienie ze względu na Was, czytelników bloga. Z rozmów z Wami widzę, że dużo osób jest w momencie zmiany ścieżki kariery, lub zaczyna pracę po studiach. Szukacie informacji czy warto pracować w BI, np. jako Power BI Developer. Więc postaramy się z Pawłem odpowiedzieć na pytanie, jaka jest przyszłość branży BI i czy warto inwestować swój czas i energię na wejście do niej.

Nie przedłużając zaczynajmy 😉 !

——————————————————————————–

Cześć Paweł,

Cieszę się, że zgodziłeś się na tę rozmowę i moi czytelnicy będą mieli okazję usłyszeć Twoją opinię o przyszłości w branży BI. Myślę, że jako osoba, która udziela się w branży od ponad 20 lat, będziesz mógł przekazać ciekawy punkt widzenia na przyszłość.

 Moi czytelnicy to w większości osoby, które dopiero zaczynają swoją przygodę z bazami danych, z narzędziami do wizualizacji. Inną z kolei grupą są osoby, które chciałyby poznać świat BI i znaleźć pracę w tej branży. Z rozmów z osobami, które czytają bloga wynika, że obawiają się oni zdezaktualizowania się technologii i tego, że mimo poświęconego czasu na naukę nowych umiejętności po paru latach będą znowu w punkcie startowym.

Porozmawiajmy, więc o przyszłości tego całego business Intelligence.

Sytuacja na rynku pracy w 2020 roku zmieniła się dość radykalnie, kryzys dotknął chyba wszystkie branże. Jak uważasz czy nadal jest miejsce na rynku na nowych specjalistów do spraw Business Intelligence, lub/i deweloperów Power BI?

Cześć Dagmara. Po pierwsze, bardzo dziękuję za zaproszenie do rozmowy. Miło, że ktoś chce jeszcze słuchać/czytać o doświadczeniach takich „dinozaurów” IT, jak ja 😊.

A wracając do Twojego pytania, rzeczywiście, rynek się zmienił. Trudno mi ocenić na ile radykalnie i nieodwracalnie, ale moja pierwsza obserwacja jest taka, że firmy podchodzą o wiele ostrożniej do wydawania pieniędzy, w tym także do inwestowania w IT (a budżety na rozwiązania BI nadal najczęściej są w IT). Widzę to choćby w procesach pre-sales, w których biorę udział, a które od momentu ogłoszenia pandemii trwają zauważalnie dłużej. Proces sprzedażowy usług i wdrożeń uległ zauważalnemu wydłużeniu. Firmy szukają rozwiązań na rozkładanie budżetów przeznaczonych na projekty IT w czasie. Według mnie, to może być zauważalny – choć nieco wymuszony – akcelerator adopcji rozwiązań chmurowych i wszelkich platform oferowanych w modelu subskrypcyjnym (w tym także Power BI). A dla firm zajmujących się integracją i wdrożeniami rozwiązań BI to może być wbrew pozorom przysłowiowa „woda na młyn”, ponieważ wiele organizacji, by móc efektywnie śledzić rentowność czy cash flow musi tu i teraz zająć się na poważnie danymi i ich analityką.

Gdy ogłoszono pandemię, wiele firm przerwało projekty BI, nierzadko prowadzone w dużych zespołach (bardzo często wykorzystujących zewnętrznych specjalistów). Zapewne czasem wiązało się to z koniecznością oszczędności (niektóre branże bardzo mocno ucierpiały w związku z COVID-19, np. branża motoryzacyjna czy biura podróży), a czasem z brakiem gotowości organizacji do prowadzenia projektów w 100% zdalnie. Niemniej, na rynek „wróciło” sporo specjalistów. Wydaje mi się jednak, że większość z nich bardzo szybko znalazło nowe projekty czy miejsca zatrudnienia, co pokazuje, że pandemia nie zatrzymała cyfrowej transformacji firm. Ba, niekiedy stała się bodźcem do przyspieszenia procesu digitalizacji i wdrożenia nowoczesnych rozwiązań umożliwiających dostosowanie działania biznesu do nowych realiów (np. praca zdalna). Wielu decydentów zauważyło, że transformacja (w tym wdrożenie niezbędnych rozwiązań analitycznych oraz znalezienie dla nich innowacyjnych zastosowań) jest niezbędna do utrzymania się firmy na rynku.

Czy na rynku jest miejsce dla nowych specjalistów BI, w szczególności Power BI? Ja uważam, że jak najbardziej tak. I, co może wydawać się dziwne, zwłaszcza w Polsce może być na tych specjalistów duży popyt. Dlaczego tak uważam? W naszym kraju adopcja rozwiązań chmurowych raczkuje. Jesteśmy daleko w wykorzystaniu potencjału chmury w porównaniu z krajami Europy zachodniej. Jestem przekonany, że tę sytuację znacząco poprawią też inwestycje największych dostawców chmury publicznej (Google, Microsoft) w naszym kraju. Niska adopcja chmury oznacza także, że znacznie trudniej jest o specjalistów zajmujących się rozwiązaniami chmurowymi (w tym Power BI). Tymczasem rodzime firmy coraz częściej dostrzegają, że nie da się konkurować na rynku bez wykorzystania rozwiązań IT cechujących się szybkością wdrożenia i elastycznością skali (np. Azure, Power BI). Dodatkowo, już teraz w Polsce operuje mnóstwo firm międzynarodowych, które w naszym kraju prowadzą swoje oddziały i bardzo często cenią swoich specjalistów BI pracujących w naszym kraju, ponieważ wyróżnia ich solidność (by nie powiedzieć – perfekcjonizm), pracowitość oraz konkurencyjność (płace w IT w Polsce są nadal zauważalnie niższe od stawek europejskich). Rąk do pracy w obszarze BI w zasadzie nieustannie brakuje. A specjalistów na poziomie mid / senior jest skończona liczba, która oczywiście systematycznie rośnie, ale – moim zdaniem – stanowczo zbyt wolno względem potrzeb rynkowych. Stąd firmy, zwłaszcza zajmujące się wdrożeniami BI, oprócz zatrudniania osób doświadczonych, zatrudniają też juniorów, by z czasem ukształtować i „wychować” specjalistę. Jeśli do tego dodać, że Power BI cieszy się w Polsce i na świecie rosnącą popularnością i co i rusz kolejne firmy decydują się na wdrożenie tej platformy jako swojej podstawowej platformy analitycznej i raportowej (od roku 2015, czyli od początku istnienia, Power BI co roku przynajmniej podwaja liczbę klientów wykorzystujących tę platformę) to mamy odpowiedź na Twoje pytanie.

Rozszerzając trochę pierwsze pytanie, czy uważasz że osoby bez doświadczenia komercyjnego (etatowego) związanego z BI są w stanie znaleźć szybko pracę na rynku? Czy potrzeba coś więcej (studia, udokumentowane kursy), oprócz samych umiejętności?

Łatwość znalezienia pracy na rynku przez jednostkę to bardzo indywidualna sprawa. I bynajmniej nie zależy ona wyłącznie od posiadanych kompetencji technologicznych, a nawet zaryzykowałbym stwierdzenie, że zależy od nich w coraz mniejszym stopniu. Poza technologią liczą się umiejętności miękkie – komunikacja i umiejętność pracy zespołowej, a także zdolność adaptacji do nowych wyzwań i technologii (czyli umiejętność rekcji na zmiany). I przede wszystkim pasja, dzięki której praca zamiast być przykrym obowiązkiem, może stać się bardziej przygodą, do tego nieustannie dającą satysfakcję (a przy okazji także pieniądze).

Oczywiście, nic nie zastąpi doświadczenia z projektów. To „na froncie” zyskujemy najwięcej jako specjaliści. Uczymy się technologii (tak, projekt to największa szkoła życia dla osób pracujących z Power BI), biznesu Klienta (bez tego trudno o dobry projekt BI), komunikacji (tej z Klientem i tej z członkami zespołu, nierzadko trudno zdecydować, która jest trudniejsza 😊).

Jeśli nie mamy doświadczenia, trzeba postawić na kilka rzeczy:
1) nauka teoretycznych (😊?) podstaw technologii (szkolenia, samouczki, i duuuużo własnego klikania),
2) opanowanie podstaw komunikacji i metodyk prowadzenia projektów (żeby wiedzieć, czego się spodziewać, jeśli przyjdzie nam pracować z ludźmi, którzy będą pracować na projekcie procesowo),
3) zdobycie podstawowych umiejętności analitycznych (może nawet odrobinę statystyki).

W skrócie to wszystko sprowadza się do tego, że trzeba w siebie zainwestować i się uczyć. Nieustannie i systematycznie uczyć. A pomocy do nauki jest mnóstwo. Od darmowych szkoleń (np. na witrynie Microsoft Learn), przez płatne szkolenia (np. szkolenie online „Power BI od podstaw” oferowane przez Elitmind Academy), aż po studia podyplomowe związane z tematyką BI, których w ostatnim czasie jest prawdziwy wysyp. Zapewniam jednak, że żaden „papier”, certyfikat czy dyplom, nie zastąpi wspomnianych przeze mnie kompetencji: wiedzy technologicznej, umiejętności analitycznych oraz umiejętności miękkich.

Dlatego, gdybym dziś stał na rozbiegu kariery jako potencjalny programista Power BI, nie przykładałbym specjalnej wagi do potwierdzania wiedzy „na papierze” (może poza oficjalną certyfikacją, która zawsze jest potwierdzeniem inwestycji w siebie i posiadania minimum wiedzy teoretycznej o technologii), a zamiast tego zbudowałbym portfolio swoich własnych dokonań powstałych w czasie nauki (np. raporty Power BI, niekoniecznie zbudowane w oparciu o prawdziwe dane, za to zbudowane samodzielnie, z pełnym rozumieniem zagadnienia analitycznego i z zastosowaniem zdobytej wiedzy). Co jakiś czas warto co ciekawsze raporty udostępnić szerokiej rzeszy odbiorców (np. w galerii Power BI), by zebrać opinie osób postronnych i dowiedzieć się, co inni myślą o naszych dokonaniach. A gdy poczujesz, że masz coś, o czym warto opowiedzieć (i przy okazji budować swoje kompetencje miękkie, np. sztukę prezentacji), nagraj video do publikacji w sieci lub zaprezentuj się szerszej publiczności, np. na konferencji lub spotkaniu grupy tematycznej, których w Polsce nie brakuje (jako przykład podam stowarzyszenie Data Community Poland, które organizuje spotkania w kilku miastach w Polsce, a także coroczne konferencje SQLDay i SQLSaturday). Sporo można też nauczyć się o Power BI czytając blogi ekspertów (tu odsyłam do listy zebranej na grupie prowadzonej przez Ciebie grupie FB – link) czy dyskusje na forum Power BI.

Skoro rozmawiamy już o juniorach, lub osobach bez większego doświadczenia, to jak uważasz. Jakie narzędzia z których korzysta się w pracy BI Dev przetrwają następne 5 lat. Innymi słowy, w naukę jakich technicznych umiejętności inwestować swój czas?

Same narzędzia BI zmierzają nieuchronnie ku maksymalnej prostocie dla użytkownika końcowego. Warto w tym kontekście poznać możliwości technologii konkurencyjnych dla Power BI (np. mało znana w Polsce technologia Thoughtspot). Widać gołym okiem upraszczanie interfejsu użytkownika i udostępnianie biznesowemu konsumentowi danych mechanizmów, które z narzędzia BI uczynią bardziej „wyszukiwarkę informacji” (patrz funkcjonalność Q&A w Power BI) lub „PowerPoint dla danych” (wszelkie mechanizmy umożliwiające storytelling na danych oraz zmianę sposobu prezentacji danych). Natomiast mimo tej ewolucji, nadal istnieją technologie i obszary, w które warto inwestować swój czas, jeśli naszym kierunkiem rozwoju jest obszar danych i analityki.

SQL to zdecydowanie numer jeden. Dialekty tego języka są wykorzystywane do operowania danymi zarówno w świecie relacyjnych baz danych (patrz -> dialekt Transact-SQL w bazach danych Microsoft SQL Server), jak i w świecie Big Data (patrz  -> SparkSQL na platformie Spark). Niezależnie od tego, jakie narzędzie BI wykorzystasz w pracy BI Dev, SQL będzie potrzebny do pobierania odpowiednich danych z relacyjnych źródeł danych. Przy okazji poznawania samego języka SQL warto też zaznajomić się z zasadami modelowania relacyjnych baz danych (zarówno transakcyjnych, jak i analitycznych – w szczególności hurtowni danych).

Poza SQL warto mieć na podorędziu jakiś silny język ogólnego zastosowania. Do głowy przychodzi mi w pierwszej kolejności Python, język bardzo uniwersalny z uwagi na wykorzystanie w każdej z trzech wiodących chmur obliczeniowych, a także w platformach z rodziny Open Source wykorzystywanych w rozwiązaniach Big Data (Spark, Airflow). Język ten będzie nieoceniony zarówno w inżynierii danych (często eksploracja, transformacje, standaryzacja i normalizacja danych w Pythonie wymagają znacznie mniej kodowania niż w SQL), jak i w przypadku projektów ze świata Data Science (tu bardzo mocno pomaga rozszerzalność Pythona i dostępność licznych bibliotek).

Jeśli zamierzasz zostać BI Dev ze specjalizacją Power BI, nie uciekniesz od DAX i M.

Te dwa języki będą Ci niezbędne – DAX do budowania miar biznesowych, M do transformacji danych. Nic nie zapowiada, by te języki miały szybko z Power BI zniknąć. Raczej doczekają się znacznego rozwinięcia i ukierunkowania na łatwość użycia (patrz -> ostatnia akualizacja Power BI Desktop i dodanie blisko 50 funkcji finansowych znanych z Excela).

W firmie Elitmind, którą reprezentuję, staramy się przekonać każdego konsultanta, że powinien być w stanie samodzielnie zaimplementować rozwiązanie BI end-to-end (czyli być Full-Stack BI Dev). Projekty BI nie obejmują wyłącznie implementacji samych raportów czy biznesowych modeli danych (czytaj – używane są w nich inne technologie niż narzędzia BI, takie jak Power BI), nie są także wyłącznie implementacją warstwy danych i procesów integracji danych (ETL/ELT). Co więcej, mimo, iż platforma Power BI z roku na rok ma coraz większe możliwości i stopniowo umożliwia realizację coraz większych projektów BI bez stosowania dodatkowych usług i komponentów, uważam, że takie koncepcje, jak hurtownia danych czy jezioro danych długo jeszcze będą miały rację bytu.

Dlatego, nawet stawiając na pierwszym miejscu specjalizację w Power BI, warto budować swoje kompetencje w tzw. back-endzie. Tu polecam wybór jednej konkretnej platformy umożliwiającej budowę warstwy danych, np. Microsoft Azure i usługi PaaS w tej chmurze. Wypada poznać usługi do:

• magazynowania i serwowania danych – w Azure: Data Lake Storage, SQL Database, Synapse Analytics, Cosmos DB, Analysis Services,
• pobierania i transformacji danych – w Azure: Data Factory, Databricks, ew. HDInsight,
• zaawansowanej analityki – w Azure: Databricks i Machine Learning Service.

Oczywiście, z czasem można też wyjść poza jedną platformę (zwłaszcza, gdy firma, dla której pracujemy, wykorzystuje podejście multi-cloud czyli użycie usług wielu dostawców chmury publicznej).

Warto też spoglądać ciepło w kierunku wszelkich technologii wspierających procesy automatyzacji, CI/CD i DevOps (DataOps). W przypadku wykorzystania Azure i Power BI będzie to na pewno kombinacja PowerShell, Azure CLI, szablonów ARM, być może języka C#. Od samego początku staraj się automatyzować, co tylko się da (i operować kodem w zarządzaniu każdym aspektem projektu BI).

Wreszcie, „last but not least”, zdecydowanie warto inwestować swój czas i wysiłek w naukę modelowania danych (metodyki projektowania schematu hurtowni danych, modelowanie w trybie Tabular dla Power BI).

Myślę, że pora już na ostatnie pytanie ode mnie. Chciałabym poznać Twoją perspektywę na narzędzie Power BI. Jak pisałam we wstępie branżę BI znasz od wielu lat, jesteś MVP Microsoftu, prowadzisz też szkolenia z Power BI, Twoja firma przeprowadza wdrożenia Power BI w przedsiębiorstwach. Więc chyba mogę zaryzykować stwierdzeniem, że widziałeś jak od rozszerzenia do Excela, Power Bi stał się potężnym narzędziem. Czy jesteś w stanie powiedzieć nam o Twojej intuicji na najbliższe 5 lat dotyczącej Power BI?

O mojej perspektywie na Power BI opowiadałem jakiś czas temu podczas webinarium „Jak zostać liderem Power BI w swojej organizacji”, do obejrzenia którego serdecznie zapraszam (w 28 minucie nagrania zaczyna się moja opowieść o początkach z Power BI). Przygodę z Power BI rozpocząłem jako… pracownik Microsoft (w latach 2012-2016) 😊 To oznacza, że widziałem z bardzo bliska (bliżej już chyba się nie da), jak ewoluowała ta platforma od początku jej istnienia w obecnej postaci (rok 2015). I jestem pod ogromnym wrażeniem tego, w jakim tempie Power BI wyrósł na lidera rynku platform BI. Naprawdę, niewiele zapowiadało taki rozwój wydarzeń jeszcze 5 lat temu. Tymczasem w roku 2020 ja, Ty i ogromna rzesza ludzi co miesiąc czeka z wypiekami na twarzy na aktualizację Power BI i informację, co nowego pojawiło się w platformie. Myślę, że społeczność, jaka powstała przez lata wokół Power BI, jest jedną z głównych sił napędowych tej platformy (nieustannie dostarcza informacji grupie produktowej, co należy zmienić/dodać).

Dokąd zmierza Power BI? Przyznaję, że staram się nie bazować na intuicji, a raczej na przesłankach racjonalnych i potwierdzonych faktach 😊 Dlatego myślę, że kierunki wyznaczone obecnie przez Microsoft jako główne filary rozwoju Power BI wyznaczają przyszłość tego narzędzia. Idąc według haseł opisujących strategię rozwoju Power BI:

• „Amazing Data Experiences”. Power BI będzie stawał się narzędziem a la PowerPoint dla danych, umożliwiającym przyjemną i łatwą pracę z dowolnymi danymi (w tym danymi nie będącymi danymi ustrukturyzowanymi) nawet użytkownikom bez kompetencji technicznych. Odbiorca raportów i dashboardów będzie wspierany „po cichu” przez liczne mechanizmy zaawansowanej analityki w celu usprawnienia procesu analitycznego i szybszego odkrywania faktów i wniosków. Elementy analizy predykcyjnej będą wbudowane w większość funkcjonalności Power BI. Raporty będziemy budować pisząc, mówiąc, dotykając, coraz rzadziej pisząc kod. Będziemy robić to bardzo szybko, ponieważ zwinność i czas realizacji dostępu do informacji to w dzisiejszym galopującym świecie priorytet. I coraz częściej raporty będą przypominały dynamiczne opowieści oparte o dane.
• „Modern Enterprise BI”. Power BI w dużym stopniu uniezależni się od innych usług aktualnie wykorzystywanych do budowania rozwiązań BI. Power BI Premium „wchłonie” Analysis Services i będzie oferował możliwość budowania skalowalnych i centralnych modeli danych. Power BI przestanie być wyłącznie narzędziem BI, a stanie się platformą serwującą dane biznesowe dowolnym narzędziom (inne narzędzia BI, platformy Data Science). Swoboda w budowaniu i łączeniu modeli danych (koncepcja composite model) umożliwi uniknięcie przechowywania wielu kopii danych i spowoduje, że łatwiej będzie budować rozproszone modele wykorzystujące te same wymiary analityczne.
• „Data Culture is for Every Decision”. Power BI będzie coraz lepiej integrował się z całym ekosystemem usług Microsoft (Azure, Office 365, Dynamics) i nie tylko (Microsoft już wie, że otwarcie na integrację z platformami innych dostawców działa na korzyść Power BI). Integracja ta będzie dwustronna – raporty lub wizualizacje raportów Power BI będą wszechobecne i dostępne wszędzie tam, gdzie analityka znajdzie zastosowanie (wyobrażam sobie np. automatyczne tworzenie raportu Power BI w oparciu o ankietę prowadzoną na Yammerze czy Forms), dane z aplikacji biznesowych będą mogły być automatycznie „ubierane” w modele danych Power BI, a ekosystem Microsoft będzie wspierał Power BI w zakresie skalowalności i administracji (tu usługi Azure) oraz pracy zespołowej (tu Office 365).

Dziękuję Ci Pawle serdecznie za rozmowę.

I ja jeszcze raz dziękuję za zaproszenie do tego wywiadu.

Jeżeli chcielibyście poczytać więcej lub zobaczyć czym dokładnie zajmuje się mój rozmówca to zapraszam na jego kanały komunikacji:

Paweł Potasiński na LinkedIn [https://www.linkedin.com/in/pawelpotasinski/]

Paweł Potasiński na Twitter [https://twitter.com/PawelPotasinski]

Witryna Elitmind Academy – materiały edukacyjne i szkolenia firmy Elitmind [https://elitmindacademy.com]

Spotkania Data Community Poland [https://www.meetup.com/PLSSUG/]

Power BI Data Stories Gallery [https://community.powerbi.com/t5/Data-Stories-Gallery/bd-p/DataStoriesGallery]

Forum Power BI [https://community.powerbi.com/t5/Forums/ct-p/PBI_Comm_Forums]