Veri Ambarı Konsepti
Aşağıdaki dokuman veri ambarı konseptini açıklamaktadır. Mimari hakkında genel bilgi ve veri ambarı kullanımı yanında veri ambarı konseptinin SAP Netweaver BI içindeki somut implementasyonu gösterilmektedir.
Raporlama, analiz ve iş verilerinin yorumlanması bir firmanın rekabete dayanım, proseslerin optimize edilmesi ve pazara anında ve hızla tepki verebilmesi açısından merkezi öneme sahiptir.
Firma verileri genellikle veri girişi için kullanılan birden çok uygulamaya dağınıktır. Bu verilerin analiz edilmesi sadece verinin farklı kaynaklarda olması nedeniyle değil ayrıca verilerin analiz değil işlemeye yönelik optimize edilmiş bir formatta saklanmasından dolayı zordur. Veri analizi operatif veri işleme üzerine ilave sistem yükü getirmektedir. Daha da öte veri heterojen uygulamalardan gelmiştir ve daha öncesinde standardize edilmesi gereken heterojen formatlarda bulunmaktadır. Uygulamalar ayrıca tarihi verileri sınırlı bir boyutta saklamaktadır. Tarihi veri analizde önemli olabilir.
O nedenle veri saklama ve veri analizini destekleme amacıyla farklı sistemlere gereksinim vardır. Bu tür bir sistem veri ambarı olarak adlandırılır.
Bir veri ambarı heterojen kaynaklardaki verileri dönüştürüp, konsolide edip, temizleyip, saklayarak entegre eder ve bu verileri analiz ve yorumlama amaçlarıyla sunma hizmeti verir.
Kurumsal Veri Ambarı (Enterprise Data Warehouse (EDW))
Bir veri ambarının sunacağı bilginin türü büyük oranda olarak bireysel iş ihtiyaçları tarafından belirlenir. Pratikte bu sıklıkla silolar (silos) yada soba boruları (stove pipes) adı verilen bir kaç izole uygulama ile sonuçlanır. Bu izole edilmiş uygulamalardan kaçınmak için, kapsamlı, uyumlu bir veri ambarı sistemi yani kurumsal veri ambarı sıklıkla tercih edilir.
Bir kurumsal veri ambarı tüm farklı katmanları içerecek şekilde yapılandırılmış firma genelinde bir veri ambarıdır. Bir organizasyon çapında tek ve merkezi bir veri ambarı katmanı da ayrıca kurumsal veri ambarı olarak ifade edilir.
Bir kurumsal veri ambarı ensek yapılara ve katmanlara izin vermelidir ki yeni iş zorluklarına (challenge) (değişen amaçlar, birleşmeler ve elde edinmeler) hızlıca tepki verebilsin.
Bir Veri Ambarı Oluşturmak ve Çalıştırmak
Bir veri ambarının ve özellikle bir kurumal veri ambarının yapılandırılması ve çalıştırılması yüksek oranda karmaşıktır ve yeterli araçların desteği olmadan çözümlenemez. SAP NetWeaver BI tüm veri ambarı proseslerini içeren, veri çekimi proseslerinden veri ambarı mimarisine ve analiz ve raporlamaya kadar entegre bir çözüm sunmaktardır.
SAP Netweaver’ın bir İş Zekası (Business Intelligence) elemanı olarak Veri Ambarlama aşağıdakileri sağlamaktadır:
● Veri Sunumu (Data staging):
○ Verinin çekme (Extraction), dönüşüm (transformation), yükleme (loading) (ETL) işlemler: Tüm veri kaynaklarına arkaplan veri çekimi (via JDBC, file, XMLA, ODBO, ..) ile ulaşılabilir. SAP uygulamaları için Veri Çekiciler (Extractors) sunulur ya da üretilir (generate). Diğer sağlayıcıların standart uygulamalarına SAP dışı ETL araçlarını entegre ederek ulaşılabilir.
○ Gerçek-zamanlı veri ambarlama: Gerçek zamanlı veri elde etme teknolojisi kullanılarak operasyonel veri saklama alanından olay-zamanına-yakın (event-near) bilgi elde edebilme gerçekleştirilir..
○ Uzak Veri Ulaşımı (Remote data access): Veriye BI sistemi içinde saklamadan SanalSağlayıcılar (Virtual Provider) kullanılarak ulaşılabilir. (aşağıda).
● Bir katman mimarisi modelleme: BilgiKüpleri mimarilendirilmiş data mart katmanında yıldız şemaları (star schema) ( bir büyük olgu tablosu (fact table) ve onu çevreleyen boyut tabloları) modellemeye izin verir. SanalSağlayıcılar kaynak veriye direkt olarak ulaşmayı sağlar.
Bilgi küpleri Paylaşımlı ya da Uyan Boyutlar (Shared or Conformed Dimensions (ana veri tabloları)) kullanılarak sanal yıldız şemaları (MultiProvider-ÇokluSağlayıcı) halinde kombine edilebilir.
Kararlı sunum alanı (persistent staging area), veri ambarı katmanı ve operasyonel veri saklama (operational data store) düz haznelerden (flat stores) VeriSaklama (DataStore) nesnelerinden oluşturulmuştur.
BilgiNesneleri (karakteristik ve göstergeler), BilgiKüpü ve VeriSaklama (DataStore) nesne tanımlarının temelini oluşturur. Dikey uyumluluk farklı katmanlarda aynı BilgiNesnelerini kullanarak sağlanır ve böylece heterojen araçlar kullanıldığında karşılaşılabilecek arayüz problemlerinden kaçınılır.
● Dönüşüm (Transformation): Dönüşüm kuralları verileri temizleme ve konsolide etme hizmetini görür.
● Veri Akışını Modelleme: Veri aktarım prosesleri veriyi farklı veri hazmelerine transfer etme hizmetini verir. Proses zincirleri kullanarak veri işleme programlanabilir ve bir monitör kullanılarak gözlemlenebilir.
● Analiz için veri sunumu: Business Explorer kullanarak herhangi bir BilgiSağlayıcı’ya dayanan sorgular tanımlayabilirsiniz. BEx sorguları kullanıcılara Portal üzerinde sağlanan veya Microsoft Excele dayanan uygulamaların temelini oluşturmaktadır.