Wraz z postępującą cyfryzacją przemysłu oraz upowszechniającym się stylem zarządzania w oparciu o dane, rosną także potrzeby związane z analityką danych. Firmy często składują różnego rodzaju dane, prowadząc do powstawania ogromnych silosów, których wykorzystanie jest problematyczne ze względów zarówno technologicznych jak i merytorycznych.
Duży rozmiar, różnorodność, tempo przyrastania, wszystko to sprawia że przechowywane w wielu firmach dane możemy uznać za dane typu Big data. Przetwarzanie dużych wolumenów danych niesie ze sobą potrzebę stosowania wydajnych rozwiązań, które są w stanie temu podołać. To jednak w oczywisty sposób nie jest wystarczające. Aby wydobyć wiedzę, która jest w danych zawarta potrzebna jest integracja danych różnego typu, często pochodzących z różnych źródeł. Dopiero to pozwala użyć posiadanych danych w celach biznesowych, a i to nie od razu. Rozwiązania stosowane w firmach do celów ekstrakcji danych, ich integracji oraz analityki do tej pory w większości były rozwiązaniami zakładającymi pewną stałość procesów oraz pewną ich skalę. Tymczasem, rozwój przedsiębiorstw i analityki, która może zaspokoić potrzeby firm, często nie jest przewidywalny na początku projektów.
Rozmowa podczas konferencji Cloud & Datacenter Day 2020 w Poznaniu.
Oglądaj na kanale Cloud Forum
Subskrybuj
Wychodząc naprzeciw problemom, ale także oczekiwaniom, wielu firm, Microsoft proponuje rozwiązanie chmurowe, które oferuje nielimitowaną skalowalność. Jest to jednocześnie hurtownia danych zawierająca klasyczną architekturę Kimballa znaną z rozwiązań typu on-premises oraz architektura lambda znana z Big Data Analytics. Poznajmy Azure Synapse Analytics.
Azure Synapse Analytics oferuje cały zestaw przydatnych do składowania i analizy danych narzędzi. Podstawę tworzy data hub stanowiący platformę do przechowywania danych. Dane mogą być zarówno relacyjne jak i w wielu innych formatach, takich jak na przykład Parquet, ORC, JSON czy też XML. Sercem rozwiązania są natomiast dwa silniki do przetwarzania danych: SQL Server w architekturze MPP oraz Spark będący najwydajniejszym i najlepiej skalowalnym rozwiązaniem dla Big Data. Azure Synapse Analytics do także narzędzia do zbierania i transformacji danych w postaci Data Flow i Data Factory. Budowanie procesów ETL/ELT jest możliwe w środowisku wizualnym wolnym od kodu, które pozwala pozyskiwać dane za pośrednictwem ponad 90 wbudowanych konektorów np.: Oracle, SAP. Od strony dewelopmentu natomiast, Microsoft oferuje całą paletę języków programowania jak .NET, Spark SQL, T-SQL, R, Python, Scala. Zwieńczeniem procesu integracji i przetwarzania danych jest analiza danych, która pozwala na wydobycie z nich tego, co naprawdę istotne. Aby to było możliwe, Azure Synapse Analytics jest zintegrowany z Azure Machine Learning oraz Power BI. Sprawia to, że przy pomocy Synapse można nie tylko budować hurtownie, przetwarzać dane oraz nimi zarządzać, ale także tworzyć wnikliwe i dynamiczne raporty i wizualizacje. Nie bez znaczenia jest także proponowany przez Microsoft model opłat: dedykowane rozwiązanie ze stałą miesięczną opłatą vs zyskujący na popularności model płatności pay as you go.
Tak stworzona platforma pozwala niezwykle łatwo dodawać nowe elementy, dzięki czemu możemy rozbudowywać swoje rozwiązanie gdy tylko zachodzi taka konieczność. W ten sposób możemy dynamiczne odpowiadać na potrzeby analityczne organizacji. Niezaprzeczalną zaletą jest w tym ujęciu także skalowalność zapewniana przez chmurę. Elementy związane ze sztuczną inteligencją są natomiast doskonałym dopełnieniem nowoczesnej platformy przechowywania i analizy danych. Jak w każdym oferowanym rozwiązaniu, Microsoft zapewnia także najwyższy poziom zabezpieczeń. Wreszcie, choć jest to chyba najważniejsza z zalet Azure Synapse Analytics, wszystko to składa się na rozwiązanie typu end-to-end gwarantujące ujednolicone doświadczenia zarówno inżynierom danych, administratorom baz, badaczom danych (Data scietists) oraz analitykom biznesowym. Zunifikowane doświadczenie w tworzeniu kompleksowych rozwiązań analitycznych pozwala znacząco skrócić czas opracowywania projektu. Wszystko to sprawia, że Azure Synapse w harmonijny sposób łączy dwa światy, hurtownię danych korporacyjnych i analitykę Big Data. Warto także podkreślić, że tego typu rozwiązania są już wdrażane na całym świecie.
——
