Data Fabric & Data Mesh
Veri yönetişiminin yeni trendleri “Veri Dokusu” ve “Veri Ağı” nedir?
Bir süredir hakkında kafa yorduğum, okuyup takip ettiğim veri yönetişiminin unsurlarından olan bazı güncel başlıkları bir yazı dizisi şeklinde kaleme almaya karar verdim. Başlıklar yeni olsa da göreceksiniz ki fikirler yeni olmaktan ziyade farklı bilimlerin temelinden faydalanarak oluşmuş ve çoğunlukla çeviklik ve ölçülebilirliği güçlendirmeye odaklanan yeni kullanım şekillerinden oluşuyor.
Data Fabric ve Data Mesh kavramlarının Türkçe karşılığı olarak “Veri Dokusu/Kumaşı” ve “Veri Ağı” dediğimizde gözümüzde pek birşey canlanmıyor olsa da yazımın bir yerlerinde bunu anlamlı bir yere bağlayarak gözümüzde gerçekten canlanması için uğraşmış olacağım. Ancak yazı boyunca kavramları İngilizce isimleriyle kullanacağım hakkında baştan bir uyarı yapmak isterim. Çünkü tüm kavramları anladıktan sonra Türkçe olarak kullanmak mantıklı olabiliyor. O zaman bu iki kavramı anlamaya hazırsanız, başlıyorum!
Data Fabric Nedir?
Data Fabric, verilerle global olarak tutarlı şekillerde çalışmak için bir yaklaşımdır.
Aslında “fabric” denmesinin arkasındaki temel nedeni, bir analoji yardımı ile anlamaya çalışalım. Fizikteki evrenin dokusunun (fabric of the universe) öz/esas ve global tutarlı olduğunu aklımızın bir köşesinde tutalım. Şimdi devam edelim…
Data fabric yaklaşımına göre;
- Veri; tıpkı yazılım ürünlerinde olduğu gibi geliştirilen, test edilen ve kullanıcılara ya da organizasyon içindeki diğer takımlara sunulan bir varlık olarak ele alınmalıdır. Bunu daha sonra “Veri Ürünü” (Data Product) olarak tanımlayacağım.
- Verinin; oluşturulması, sunulması ve sürdürülebilirliğinden sorumlu müstakil bir takımı olmalıdır. Bu takım verinin geldiği iş alanını tanıyan uzmanlardan oluşmalı, genel maksatlı Bilgi ve İletişim Teknolojileri (BİT) takımları olmamalıdır.
- Veri; kendilerini oluşturan takımdan önemli bir destek veya müdahale gerektirmeden diğer takımlar veya kullanıcılar tarafından kolayca erişilebilir, keşfedilebilir ve tüketilebilir şekilde tasarlanmalıdır.
- Veri; standartlaştırılmış veri modelleri, tanımları ve kalite gereksinimleri kullanılarak oluşturulmalıdır. Kalite, güvenilirlik ve birlikte çalışabilirlikten emin olmak için titizce test edilmiş olmalıdır.
Data fabric başlangıçta bilinen diğer tüm veri yönetimi mimarileri gibi veri kaynaklarına ihtiyaç duyar. Bu veri kaynağı satış sektörüyle ilgili olabilir, üretim sanayi olabilir, finans olabilir, sağlık olabilir, Ar-Ge olabilir… Kısaca bir alana özgü bir veri kaynağından bahsediyorum.
Ne olursa olsun data fabric tüm bileşenleri için tutarlı olmalıdır. Tutarlı bir veri kaynağı, tutarlı bir entegrasyon, tutarlı bir metaveri/katalog, tutarlı bir orkestrasyon… Bu data fabric’in özüdür. Tıpkı “fabric of universe”’e tutarlı en küçük birim dediğimiz gibi. Bu en küçük birim kimisi için atom, kimisi için daha küçük bir birimdir. Bizim için de data fabric; kendi içinde global tutarlı veri yönetiminin en küçük birimi, özüdür.
Bu global tutarlılık her bir veri kaynağı için ayrı ayrı sağlanmalıdır. Bu yaklaşımın yeniliği de buradan gelmektedir.
Data fabric; organizasyonun tüm alt veri kaynaklarını kapsayan merkezi bir veri yönetim stratejisi izlemesi ve veri kaynağının ihtiyacına göre belirlenen araçlardan ve yöntemlerden faydalanabildiği kendi içinde tutarlı yaklaşımdır. Data fabric, metaveri yönetimi olgunluğuna ihtiyaç duyar.
Jaguar Land Rover, data fabric yaklaşımı ile arz ve talep verilerinin birbirine bağlı görünümünün, kritik iş sorularını yanıtlamada verimli olmasını sağladı.
Avantajlar:
- Turarlılık, veri yönetişiminde güveni sağlar.
- Verinin yeniden kullanımını kolaylıştırır ve teşvik eder.
- Karmaşıklığı azaltır, bu basitleştirilmiş yaklaşım sayesinde daha az araca ihtiyaç duyulur.
Dezavantajlar:
- Çeviklik eksikliği: Tutarlılığı sağlamak için takımın tüm üyeleri tüm süreci aynı şekilde benimsemesi gerektiği bazı takımları zorlayabilir.
- Zayıf yeniliçilik: Belirlenen az sayıda araç ile tüm data fabric için aynı başarıyı vermeyebilir, yenilikler yapmak zorlaşır.
Data fabric’i bir organizasyonun genelinde merkezi bir veri yönetimi olarak ele almak çok faydalı bir yaklaşım olmayabilir. Bu yüzden yeni bir konsept olan data mesh’in ne olduğunu inceleyelim.
Çünkü data mesh, data fabric’in dezavantajlarını çözerken tutarlılık gibi avantajlarından faydalanmaya devam etmemizi sağlıyor.
Data Mesh Nedir?
Data Mesh, birimler veya sektörler arası iş birliği yapan (cross-functional) takımların kendi veri etki alanlarına (data domain) merkezi olmayan şekilde sahip olmalarını ve bunları yönetmelerini sağlarken aynı zamanda organizasyon genelinde veri kalitesi ve tutarlılığını gözetmek için iş birliği yapmalarını sağlayan yeni bir veri mimarisi ve yönetişim yaklaşımıdır.
Fabric’e doku ya da kumaş diyebiliriz. Yazının başında gözümüzde canlanmayan bu kavramı biraz anlaşılabilir bir örnekle anlatmaya çalışacağımı söylemiştim. O halde, kıyafetlerinizi düşünün!
Evet, veri yönetişimiyle ilgili bir yazı okuyorsunuz. Kıyafetlerinizin hepsi aynı kumaştan mı yapılmıştır? Hayır, her biri farklı kumaşlara, dokumalara ve dokulara sahiptir. Hatta bir kıyafetiniz birden fazla kumaş ve dokumaya sahip olabilir. Bunun güzel görünmesi dokuların ve renklerin uyumu ile sağlanır ve bir bütün olarak siz onu beğenir, yatırım yapar ve giyersiniz. Mevsimine göre farklı kumaşlar sizin için en iyisidir. Tıpkı, finans verileri için bir kumaşa, lojistik verileri için başka bir kumaşa, otomotiv üretim verileri için farklı, sağlık verileri için farklı bir kumaşa ihtiyacımız olduğu gibi. Bütün bir yılı tek tip bir kumaştan yapılmış bir kıyafetle geçiremeyiz. İşte tam bu yaklaşımdan data mesh doğuyor. Bu sektörel veriler için ayrı ayrı planladığınız araçlarla geliştirdiğiniz data fabric’inizi bir ağ ile bir birine bağlarsanız, bir kumaş parçalarından oluşan bir örtü (patchwork) yapmış olursunuz. Kumaşlar arası bir dikim, bir ağ!
Data mesh, data fabric’in kapsamını değiştiriyor. Tutarlılığı her bir sektörel data fabric için sağlamaya devam ediyor. Pacthwork’ün her bir kumaşı kendi içinde tutarlı olursa, bütün dikimimizde uyumlu ve tutarlı olur diyor.
Bunu matematik de söylüyor. Yani lokal tutarlılıktan gerçek global tutarlılığa giderken data fabric’in çeviklik ve yenilikçilik eksikliğini data mesh ile gidermiş oluyoruz. Bu yaklaşım yazılımdaki mikroservis mimarisine çok benzemektedir. Öte yandan, birlikte çalışabilirliği (interoperability) sağlamanın en etkin yolu haline gelmektedir. Bu durumda veri siloları oluşması engellenmekte, merkeziyetsiz, federe ve aynı anda birlikte çalışabilirliğin en etkin ve hızlı kullanımını data mesh ile sağlamış oluyoruz. Nasıl mı? Dört temel ilkeyi anlayarak devam edelim.
Kavram olarak data mesh ilk defa 2019 yılından Zhamak Dehghani tarafından ortaya atılmış ve dört temel ilke üzerinden şekillendirilmiştir.
🔘 Etki Alan Sahipliği (Domain Ownership)
- Otonomi: Her alan kendi verileri üzerinde özerkliğe sahiptir ve bu verilerin nasıl toplanacağı, depolanacağı, işleneceği ve paylaşılacağı konusunda karar verilebilir. Tabi ki, organizasyonun genel data mesh ilkeleri ve yönergeleriyle uyumlu olduğu sürece bunu yapabilir.
- Hesap Verebilirilik: Etki alanı sahipleri, veri ürünlerinin kalitesinden, güvenliğinden ve tutarlılığından sorumlu ve bu konuda hesap verenlerdir.
- Ölçeklenebilirlik: Takımların değişen iş ihtiyaçlarına kolayca uyum sağlamasına izin vermelidir.
- Entegrasyon: Etki alanı sahiplerinin, veri ürünlerinin birbirleriyle iyi bir şekilde entegre olmasını ve genel organizasyon stratejisini ve ihtiyaçlarını karşılamasını sağlamak için birlikte çalışması gerekir.
🔘 Ürün Olarak Veri (Data as a Product)
- Değer: Tıpkı yazılım ürünleri gibi veriler de geliştirilen, test edilen ve kullanıcılara (organizasyon içindeki diğer takımlara) sunulan değerli bir varlık olarak ele alınır.
- Sahiplik ve Sorumluluk: Her veri ürününün, o ürünü oluşturmaktan, sürdürmekten ve kullanıcılarına sunmaktan sorumlu özel bir takımı vardır.
- Self-Servis: Veri ürünleri, onları oluşturan takımın önemli bir desteğine veya müdahalesine ihtiyaç duymadan, kullanıcıları tarafından kolayca keşfedilecek ve tüketilecek şekilde tasarlanmalıdır.
- Kalite ve Tutarlılık: Veri ürünleri, standartlaştırılmış veri modelleri, tanımlar ve kalite gereksinimleri kullanılarak oluşturulmalı ve kalite, güvenilirlik ve birlikte çalışabilirliği sağlamak için titizlikle test edilmelidir.
🔘 Self-Servis Veri Platformu
- Veri Ürünü Kataloğu: Self-Servis veri platformu tipik olarak organizasyondaki farklı takımlar tarafından üretilen tüm mevcut veri ürünlerini listeleyen bir veri ürünü kataloğu içermelidir.
- Veri Erişimi ve Yönetişimi: Self-Servis veri platformları, takımların merkezi bir veri takımına ihtiyaç duymadan veri ürünlerine erişmesi ve bunları tüketmesi için bir yol sağlamalıdır.
- İş Birliği: Self-Servis veri platformları, farklı takımlar ve alanlar arası iş birliğini ve bilgi paylaşını kolaylaştırmalıdır.
- Veri Ürünü Yaşam Döngüsü Yönetimi: Self-Servis bir veri platformu, sürüm oluşturma, kullanıma alma ve kullanımdan kaldırma da dâhil olmak üzere veri ürünlerinin yaşam döngüsünü yönetmek için araçlar ve süreçler sağlamalıdır.
🔘 Dağıtık / Federe Yönetişim
- Federe Yönetişim: Federe Hesaplamalı Yönetişim (Federeted Computational Governance), her takımın kendi etki alanı içindeki veriler hakkında karar verme özerkliğine sahip olmasını sağlarken aynı zamanda genel kurumsal yönetim politikalarına bağlı kalmasını sağlamalıdır.
- Dağıtık Güven: Data mesh, verilerin bütünlüğünü ve doğruluğunu sağlamak için dağıtılmış güvenden faydalanmalıdır.
- İş Birlikçi Karar-Verme: Data mesh ortamında karar verme iş birlikçi ve konsensusa dayalı olmalıdır.
- Sürekli İyileştirme: Federe Hesaplamalı Yönetişim, takımların birbirlerinden öğrenmesi ve yönetişim politikalarını ve prosedürlerini zaman içinde uyarlaması için bir geri bildirim döngüsü sağlayarak sürekli iyileştirmeyi desteklemelidir.
Saydığım 4 temel ilke ve bu ilkelerin unsurlarını data mesh mimarisine yerleştirdiğimizde aşağıdaki gibi bir mekanizma elde ediyoruz. Data mesh, metaveri olgunluğundan ziyade yönetişim olgunluğuna ihtiyaç duyar. Data mesh mekanizmasının her bir bileşenini bir başka yazıda tek tek ele almayı planlıyorum.
Data Mesh Hangi Sorunları, Nasıl Çözüyor?
Data Mesh’in Limitleri
- Karmaşıklık: Data Mesh, uygulanmak istenen organizasyon yeterince büyük değilse veri altyapısına ek karmaşıklık getirir. Eğer farklı veri türlerinin ve etki alanlarının yönetildiği büyük bir organizasyonsa faydası görülebilir.
Netflix, Dominos, Ducati ve J.P. Morgan data mesh uygulayan organizasyonlara örnek olarak incelenebilir.
- Araçlar: Data Mesh, takımlar arasında veri paylaşımını ve iş birliğini teşvik eder. Takımlar kendi veri sistemlerini kullanabilir ancak örneğin API’leri kullanarak bilgileri paylaşma zihniyetini benimsemeleri gerekir.
- Yönetişim: Her etki alanı takımı, sahip oldukları verilerin kalitesinden ve tutarlılığından sorumlu olması bir zorluk getirmektedir.
- Kültürel Değişim: Başarılı bir data mesh uygulaması için takımların, verilerin nasıl sahiplenildiği ve paylaşıldığı konusunda önemli bir kültürel değişiklik yapması gerekecektir.
- Yetenek: Data Mesh, tüm organizasyon etki alanlarında teknik uzmanlık ihtiyacını doğurur, bu da yetkin personele talebi artırır.
22–24 Mayıs 2023 tarihlerinde Gartner’ın organize ettiği “Veri ve Analitik Zirvesi”ne katılma şansım oldu. Bu etkinlikte yalnızca Gartner uzmanlarının yürüttüğü 120 farklı oturum düzenlenmişti.
Bu zirve genel olarak konferans, çalıştay, yuvarlak masa etkinlikleri, uzmanına sor oturumları, birebir buluşma, bake-off toplantılar ve fuar bölümlerinden oluşmuştu ve oldukça yoğun programda Data Fabric ve Data Mesh ile ilgili tüm oturumları takip etme imkânı elde ettim. Burada konuya ilişkin edindiğim bazı bilgileri de sizlerle paylaşmak isterim. Gartner’ın meşhur HypeCycle’ı ile başlayalım. Data mesh henüz hype olmaya başlamışken data fabric platoya biraz daha yakın. Her ikisi içinde gereken olgunluğa 5–10 yıl süre zarfı biçilmiş görünüyor.
Hangi Veri Yönetim Mimarisini Seçmelisiniz?
Öte yandan Gartner uzmanların; sizin organizasyonunuz için hangi yaklaşımı seşmelisiniz konusunda yapmış oldukları araştırma sonucunda bir ağırlıklandırma matrisi sunuyor. Eğer bu kavramları ilk kez duyuyorsanız korkmanıza gerek yok gördüğünüz gibi bunu uygulayabilecek organizasyon oranı oldukça az. Kurumsal Olgunluk göstergesi, 2022'deki 1.400'den fazla Gartner müşteri etkileşimine dayandırılmıştır. Organizasyonunuzun hazırlık seviyesini; metaveri ve yönetişim olgunluğu bağlamında yükseltmenin hatrı sayılır bir katkı sağlayacağı aşikar.
Sonuç
Sonuç olarak, hem data mesh hem de data fabric farklı avantajlar ve dezavantajlar sunar ve organizasyonunuz için doğru yaklaşımın seçilmesi, organizasyon yapısı ve kültürü, teknik olgunluk ve veri yönetişimi ve güvenlik gereksinimleri gibi çeşitli faktörlere bağlıdır.
Data mesh yaklaşımı merkezi olmayan veri sahipliğini ve yönetimini vurgularken, data fabric veri kalitesini, tutarlılığını ve güvenliğini sağlamak için merkezi bir veri platformunu savunur.
En iyi yaklaşımı seçmek için uygunluk değerlendirmek için pilot projeler yürütmesi tavsiye edilebilir.
Sonuçta en doğru yaklaşım, organizasyonunuzun hedeflerine, kaynaklarına ve stratejik yönüne uygun olan ve kullanıcılara veriye dayalı kararlar almaları için ilgili veriler ve öngörüler sunabilen olacaktır. Ayrıca ileri analitik ve yapay zekâ yaklaşımlarını kullanabilme esnekliği tanıyabilmelidir.
Pekala bu yönetişim yaklaşımlarını hangi araçlar marifetiyle uygulayabiliriz?
