Veri Ambarı Nedir? Veri Ambarı Türleri ve Gelişimi

Kısaca Veri Ambarı, anlamlı öngörüler elde edebilmek için farklı kaynaklardan ve farklı türlerden verileri toplama ve yönetme işlemidir. Veri ambarı, veri analizi ve raporlaması için oluşturulan İş Zekası sisteminin temelini oluşturur.

Verilerin stratejik anlamda kullanımına yardımcı olan ve farklı teknolojik yapılar- bileşenler kullanılan bir sistemdir. Sadece sorgu ve analiz için tasarlanan ve iş ile ilgili büyük miktardaki verinin elektronik ortamda depolandığı bir yapıdır. Verilerin anlamlı bilgiye dönüştürülme ve kullanıcılara zamanında ulaştırılma sürecidir.

Veri Ambarı (Karar-Destek Veritabanı), işletmenin kendi işlemsel veritabanından ayrı olarak tasarlanır. Veri ambarı, büyük veri içindeki anlamlı sonuçlara ulaşmak için tasarlanan bir ortamdır. Kullanıcılara, geleneksel veri depolama modelleri ile elde edilmesi zor olan güncel ve eski karar destek bilgilerini sağlayan bilgi sistemi mimarisidir.

Stok yönetimi için 3NF (Third Normal Form) olarak tasarlanmış bir veritabanının birbiri ile ilişkili tablolardan oluştuğunu hepimiz biliyoruz. Örneğin, bir rapor için bu veritabanından istenilen detaylı bir bilginin elde edilebilmesi için 10’dan fazla birleştirme (join) içeren bir sorgu gerekebilir. Bu durum sorgunun ve raporun yanıt süresini uzatabilir. Veri Ambarı, bu tip karmaşık sorguların yanıt sürelerini azaltmaya ve performanslarını arttırmaya yardımcı olabilecek yeni bir yaklaşım ve tasarım sunar.

Aşağıdaki ifadeler de Veri Ambarı sistemini tanımlar:

• Karar Destek Sistemi (KDS)
• Yönetim bilgi sistemi
• İş Zekası Çözümü
• Analitik Uygulama

Veri Ambarı Sisteminin Doğuşu ve Tarihçesi

Veri ambarı, kullanıcıların işletmelerini daha iyi anlamalarına ve geliştirmelerine yardımcı olan bir sistemdir. Teknoloji ve bilgisayar sistemleri geliştikçe ve kontrol edilmesi gereken veriler büyüdükçe, bu verilerin depolanması ihtiyacı ortaya çıktı. Özünde Veri Ambarının yeni bir şey olmadığı da unutulmamalıdır.

Veri ambarı sisteminin gelişimi ile ilgili bazı önemli olaylar:

• 1960- Dartmouth ve General Mills ortak bir araştırma projesinde boyutlar (dimensions) ve gerçekler (facts) terimlerini geliştirdiler.
• 1970- A Nielsen ve IRI perakende satışlar için boyutsal data mart sundu.
• 1983- Tera Data Corporation, “Karar Destek Mekanizması” için özel olarak tasarlanmış bir veritabanı yönetim sistemi sundu.
• Veri Ambarı, 1980’lerin sonunda IBM çalışanları Paul Murphy ve Barry Devlin tarafından “İş Veri Ambarı – Business Data Warehouse” nın geliştirilmesi ile başladı.
• Fakat asıl konsept, Veri Ambarının babası olarak da kabul edilen Inmon Bill tarafından oluşturuldu. Veri ambarının inşası, kullanımı ve bakımı üzerine birçok yazı yazdı.

Veri Ambarı Nasıl Çalışır?

Veri ambarı, aynı veya farklı türde verilerin bir ya da daha fazla kaynaktan geldiği merkezi bir depo olarak çalışır. Veriler, geleneksel ilişkisel veritabanlarından ve işlem sistemlerinden veri ambarına doğru akar. Veriler, Yapılandırılımış, Yarı-Yapılandırılmış ya da Yapılandırılmamış olabilir.

Kullanıcıların, iş zekâsı, SQL sorgu, elektronik tablo ve benzeri araçlar ile ulaşıp istedikleri öngörüleri elde edebilmesi için farklı kaynaklardan gelen tüm veriler ortak bir havuza alınır, gerekli dönüşümler yapılır ve kullanılabilir hale getirilir. Kısacası, farklı kaynaklardan ve farklı türde gelen veriler ortak bir veritabanında depolanır.

Birleştirilmiş bu veriler daha gerçekçi ve doğru sonuçlar üretmek için işletmeler tarafından efektif bir şekilde kullanılabilir. Bu sayede tüm olası sonuçlar geniş kapsamda değerlendirilmiş olur. Veri ambarı, veri madenciliğinin kaynağıdır. Veri madenciliği, veri ambarı içinde kararlara yol gösterecek veri desenlerini araştırır.

Veri Ambarı Türleri

Kurumsal Veri Ambarı:

Merkez depodur. İşletmeye karar destek hizmeti sunar. Birleşik veri yaklaşımı sunar. Verileri konulara göre sınıflandırıp bölümlere ayırır.

İşlemsel Veri Deposu:

Veri ambarının ve OLTP (On Line Transactional Processing) sistemlerin işletmenin rapor ihtiyaçlarını karşılamadığında ihtiyaç duyulan bir veri deposudur. İşlemsel Veri Deposunda Veri Ambarı gerçek zamanlı olarak yenilenir. Bu sebepten rutin faaliyetler (Çalışanların kimlik bilgilerinin saklanması gibi) için yaygın olarak tercih edilir.

Data Mart:

Veri ambarının alt bölümleridir. Genel kapsamlı değil, daha spesifik belirli bir iş kolu veya konu için (Satış biriminin sadece satış verilerine ulaşacağı “Satış Data Mart” gibi) özel olarak tasarlanmıştır. Bağımsız Data Mart’larda veriler direkt olarak kaynaktan da toplanabilir.

Veri Ambarı'nın Aşamaları

Veri ambarı ilk başlarda çok daha basit modellerde kullanılıyordu. Fakat zamanla donanımsal ve yazılımsal ilerlemelerle birlikte daha komplike işlemlerde kullanılmaya başlandı.

Veri ambarının kullanım aşamalarını genel olarak şu şekilde tanımlayabiliriz:

Çevrimdışı İşlemsel Veritabanı:

Bu aşamada işlemsel sistemde yer alan veriler başka bir sunucuya kopyalanır. Bu sayede kopyalanan verilerin yüklenmesi, işlenmesi ve raporlanması İşlemsel Sistemin performansını etkilemez.

Çevrimdışı Veri Ambarı:

Veri Ambarındaki veriler, İşlemsel Veritabanından gelen veriler ile düzenli olarak güncellenir. Veri ambarındaki veriler, Veri Ambarının hedefleri doğrultusunda işaretlenir ve gerekli şekilde dönüştürülür.

Gerçek Zamanlı Veri Ambarı:

Bu aşamada Veri Ambarı, İşlemsel Veritabanında gerçekleşen herhangi bir işlem sonrası (Örneğin, Otel ya da uçak rezervasyon sistemlerinde gerçekleştirilen bir işlem) gerçek zamanlı olarak güncellenir.

Entegre Veri Ambarı:

Bu aşamada işlemsel veritabanında herhangi bir işlem gerçekleştiğinde veri ambarı sürekli olarak güncellenir. Veri ambarında üretilen işlemler de İşlemsel Veritabanına tekrar gönderilir.

Veri Ambarının Bileşenleri

Yükleme yöneticisi:

Yükleme yöneticisi, verilerin çıkarılması ve veri ambarına yüklenme operasyonlarını gerçekleştirir. Verilerin veri ambarı girişine hazırlanması da bu bileşenin görevlerindendir.

Veri Ambarı yöneticisi:

Kararlılığı sağlamak için verilerin analizi, indekslerin ve görünümlerin (views) oluşturulması, denormalizasyonların ve bir araya getirme işlemlerinin oluşturulması, verilerin dönüştürülmesi ve birleştirilmesi, arşivleme, yedekleme gibi Veri ambarındaki verilerin yönetimi ile ilgili işlerden sorumludur.

Sorgu Yöneticisi:

Kullanıcı sorguları ile ilgili işlemleri yönetir. Bu bileşenin işlemleri, sorguların yürütülmesini zamanlamak için uygun tablolara doğrudan sorgulardır.

Son kullanıcı erişim araçları:

Beş farklı gruba ayrılır. 1. Veri Raporlama 2. Sorgu Araçları 3. Uygulama geliştirme araçları 4. EIS (Executive Information System) araçları, 5. OLAP (On-line Analytical Processing) araçları ve veri madenciliği araçları.

Veri Ambarı Uygulama Adımları

Başarılı bir Veri Ambarı inşası için aşağıdaki 3 stratejiyi göz önünde bulundurmakta yarar vardır.

Kurumsal Strateji:

Mevcut mimari ve araçları da içeren teknik analiz yapılır. Gerçekler (facts), boyutlar (dimensions) ve nitelikler belirlenir.

Aşamalı İlerleme:

Veri Ambarı mimarisi konulara göre aşamalı olarak uygulanmalıdır. İlk önce birbiri ile ilişkili elemanlar uygulanmalı (Rezervasyon ve faturalandırma gibi) ve bütünleştirilmelidir.

Yinelemeli Prototipleme:

Veri Ambarı uygulamaları büyük yaklaşımlar yerine yinelemeli olarak geliştirilmeli ve test edilmelidir.

Veri Ambarı geliştirme aşamaları aşağıda özet olarak verilmiştir:

Veri Ambarı Uygulamalarında En İyi Yaklaşımlar

• Verilerin tutarlılığını, doğruluğunu ve bütünlüğünü test edin.
• İyi bir Veri Ambarı uygulaması iyi tanımlanmış, iyi entegre edilmiş ve zaman damgalı olmalıdır.
• Veri Ambarı inşa ederken doğru araç ve yazılımları kullandığınızdan emin olun, yaşam döngüsüne sadık kalın, veriler arasındaki uyuşmazlıkları dikkat edin ve hatalarınızdan bir şeyler öğrenmeye hazır olun.
• Verileri çıkarmak, temizlemek ve yüklemek için çok fazla zaman harcamayın.
• Veri Ambarı uygulama sürecine işletmenin tüm personelinin dahil edilmesini sağlayın.
• Veri Ambarı uygulamasının ortak ekip projesi olduğunu belirtin. Bu işin son kullanıcı için yapıldığını aklınızdan çıkarmayın ve bunu açıkça belirtin.
• Son kullanıcılar için eğitim programı planlayın.