BI, Power BI, 艢cie偶ka nauki, SSIS

Pytania rekrutacyjne SQL Server Integration Services + Analysis Services

Pytania rekrutacyjne SSIS – SQL Server Integration Services

Jakie znasz komponenty architektury SSIS?

  1. Control Flow
  2. Data Flow
  3. Event handler
  4. Package Explorer 
  5. Parameters

Jak dzia艂a Control Flow?

Control Flow to tzw. m贸zg operacyjny SSIS. W tym komponencie sterujemy kolejno艣ci膮 wykonywania si臋 poszczeg贸lnych element贸w w SSIS – kontener贸w i zada艅 (containers and tasks) oraz tzw. precedence constraints.

Container pozwala zachowa膰 dan膮 struktur臋 w paczce, w jego obr臋bie wykonywane s膮 zadania – tasks.

Tasks odpowiadaj膮 za dzia艂ania funkcjonalne w paczce.

Ka偶da paczka w SSIS zawiera przynajmniej Control Flow.

Wi臋cej tutaj – https://docs.microsoft.com/en-us/sql/integration-services/control-flow/control-flow?view=sql-server-ver15

Co to jest Data Flow?

Podstawow膮 funkcj膮 Data Flow jest ekstrakcja danych ze 藕r贸d艂a, modyfikacja tych danych, a nast臋pnie zapisanie ich w innej – wybranej -lokalizacji.

W Data Flow znajdziemy trzy typy component贸w – Source (wyci膮ganie danych z ich lokalizacji 藕r贸d艂owej), Transformations (modyfikacja, transformacja wyci膮gni臋tych danych), Destination (zapis zmodyfikowanych danych do wybranej lokalizacji).

Wi臋cej tutaj – https://docs.microsoft.com/en-us/sql/integration-services/data-flow/data-flow?view=sql-server-ver15

Pytania rekrutacyjne SSAS – SQL Server Analysis Services

Jak dzia艂aj膮 partycje w modelu tabularycznym w SSAS?

Partycje dziel膮 dane na cz臋艣ci, wg zadanego klucza. S膮 potrzebne na przyk艂ad w momencie kiedy chcemy regularnie od艣wie偶a膰 tylko cz臋艣膰 danych, nie ich ca艂o艣膰. Na przyk艂ad procesujemy tylko dane z ostatniego miesi膮ca.

Tabele mog膮 zosta膰 podzielone na partycje, z kt贸rych ka偶da zawiera cz膮stk臋 ca艂o艣ci tabeli. Nast臋pnie podczas procesowania modelu mo偶emy wybra膰, kt贸r膮 partycj臋 – cz臋艣膰 – b臋dziemy procesowa膰 oraz w jaki spos贸b.

Tworzymy je na przyk艂ad w Visual Studio w Tabular Model designer korzystaj膮c z Partition Manager.

Partycje definiowane s膮 za pomoc膮 albo j臋zyka M (Power Query) albo SQL.

Co to jest perspektywa w SSAS?

Modele w SSAS potrafi膮 by膰 z艂o偶one i sk艂ada膰 si臋 z wielu danych z r贸偶nych 藕r贸de艂, u偶ytkownik nie zawsze potrzebuje tych wszystkich danych jednocze艣nie. W wielu przypadkach poszczeg贸lnym u偶ytkownikom wystarcza dost臋p do konkretnej cze艣ci informacji zawartych w modelu.

Aby u艂atwi膰 dost臋p do cz臋艣ci danych, mo偶na stworzy膰 perspektywy w modelu.

Perspektywa jest to tzw. podzbi贸r modelu, kt贸ry pokazuje w艂a艣ciwe dla u偶ytkownika dane. Cz臋sto ukierunkowane na dan膮 potrzeb臋 raportow膮. W perspektywie zdefiniowane s膮 tabele, kolumny, miary etc.

Wi臋cej tutaj – https://docs.microsoft.com/en-us/analysis-services/tabular-models/perspectives-ssas-tabular?view=asallproducts-allversions

Jak mo偶esz przeprocesowa膰 model tabelaryczny?

Obecnie model, partycj臋 czy tabel臋 mo偶na przeprocesowa膰 w kt贸rym艣 z poni偶szym tryb贸w:

  • Process Default – procesuje tylko nieprzetworzone (cz臋艣ciowo przetworzone) obiekty. 艁aduje dane do pustych tabel czy partycji, przebudowuje kolumny obliczeniowe, hierarchie oraz relacje.
  • Process Full – procesowanie u偶ywane przy wgrywaniu zmian w strukturze modelu. Procesuje pe艂en model, wszelkie tabele, obiekty, przebudowuje je, przebudowuje relacje.
  • Process ReCalc – procesuje, ponownie oblicza wszelkie relacje, kolumny obliczeniowe i hierarchie.
  • Process Clear – czy艣ci dane z modelu.

Jakie znasz rodzaje relacji mi臋dzy tabelami w modelu tabularycznym ?

Relacja mi臋dzy tabelami w modelu okre艣la ich po艂膮czenie ze sob膮. Oparte s膮 na kolumnach z tmi samymi danymi w tabelach. Relacja pokazuje te偶 rodzaj powi膮zania, na przyk艂ad:

one to one czyli 1 do 1. Jedna warto艣膰 z kolumny 1 (tabela 1) odpowiada jednej warto艣ci z kolumny 2 (tabela 2).

one to many czyli 1 do wielu. Jedna warto艣膰 z kolumny 1 mo偶e odpowiada膰 wielu warto艣ciom z kolumny 2. Ale nie na odwr贸t. Ustalona jest strona zale偶no艣ci.

many to many czyli wiele do wielu. Ten rodzaj relacji mi臋dzy tabelami dost臋pny jest dla modelu o kompatybilno艣ci 1500 i wy偶ej, deployowanych na SQL Server 2019 i wy偶ej oraz w Power BI Premium. W tym rodzaju relacji zar贸wno kolumna 1 jak i kolumna 2 nie s膮 unikatowe. Kolumna 1 mo偶e zawiera膰 produkty, kt贸re mog膮 zosta膰 zakupione przez klient贸w z kolumny 2 (tabeli 2), ale jednocze艣nie klienci z kolumny 2 mog膮 zakupi膰 wi臋cej ni偶 jeden produkt z kolumn 1.

Wi臋cej informacji tutaj –

Zapraszam na mojego instagrama, gdzie to zagadnienie jest opracowane wizualnie i zapisane w Stories.

https://www.instagram.com/bideveloper_pl/

Co to jest OLTP a OLAP?

OLTP – Online Transaction Processing, czyli przetwarzanie danych transakcyjnych w systemach komputerowych.

Dane transakcyjne s膮 to informacje o dzia艂aniach w organizacji, np. przep艂ywy przelew贸w, przechodzenie towar贸w na magazyn ze sklep贸w etc. S膮 to dane o wysokiej normalizacji, czyli podzielone na mniejsze fragmenty, tak 偶eby ich przetwarzanie by艂o bardziej efektywne. OLTP nie s膮 dobrym wyborem je偶eli chcemy obs艂ugiwa膰 du偶o zagregowanych danych. Spowoduje to spowolnienie systemu.

Przyk艂ady OLTP w technologii Microsoft: SQL database, Azure SQL database etc.

OLAP – Online Analytical Processing, czyli przetwarzanie analityczne online.

S膮 to systemy stworzone do z艂o偶onych analiz i organizacji du偶ej ilo艣ci danych o wysokiej z艂o偶ono艣ci. Bazy OLAP s膮 tak zaprojektowane, aby unie艣膰 du偶e obci膮偶enia odczytu i przetworzenia danych.

W bazach OLTP przechowywane s膮 wszystkie dane, transakcje, wprowadzane cz臋sto po jednym rekordzie. W przeciwie艅stwie do OLAP nie s膮 one dostosowane do zaawansowanych analiz tych danych. Aby wydajniej analizowa膰 dane tworzy si臋 systemy OLAP.

Przyk艂ady OLTP w technologii Microsoft: Azure Analysis Services, SQL Server Analysis Services.


Co to s膮 hierarchie w modelu tabularycznym ?

Hierarchie pokazuj膮 relacje pomi臋dzy kolumnami w tabeli.

Tworzenie hierarchi u艂atwia u偶ytkownikom modelu nawigacj臋 pomi臋dzy danymi w modelu czy p贸藕niej raporcie, stworzonym na danym modelu.

Przez stworzenie hierarchi w tabeli z du偶膮 ilo艣ci膮 kolumn, mo偶emy uporz膮dkowa膰 dane, stworzy膰 swojego rodzaju bloki tematyczne.

Przyk艂adowa hierarchia:
Year -> Month -> Week -> Day
Gdzie Year, Month, Week, Day to osobne kolumny. Nadrz臋dn膮 kolumn膮 b臋dzie Year, kt贸ry rozwinie si臋 maksymalnie do poziomu Dnia.

Dagmara