Nezih Sözdinler_Teradata Day 2014 Sunum

​Teradata'ya Geçiş İçin Yol Haritası
​Nezih Sözdinler
​ Teradata Teknoloji Geliştirme Müdürü
Neden: Kurumsal Veri Ambarı?
Bugün
Teknoloji
Gereksinimleri
İş
Gereksinimleri
2
10/1/2014
Gelecek
•
Yavaş Raporlar
•
Ölçeklenebilir / Esneklik
•
Uzun Yükleme Süreleri
•
Artan kullanıcı sayısı
•
Yüksek Bakım Maliyetleri
•
Karmaşık İş Yükü
•
Konsolidasyon
•
Yüksek Erişilebilirlik
•
Karmaşık Alt Yapı
•
Maliyetleri düşürmek
•
Limitli raporlar
•
Yeni yetenekler
•
Kullanışsız Veriler
•
In-database hız
•
Tarihsel Veri ihtiyacı
•
Büyük Veri fırsatları
•
Gerçeğin tek versiyonu
•
Analitik ve Taktik
•
Finansal
Teradata Confidential
analizlere yönelik iş yükleri
Data Mart konsolidasyonunun gerçek değeri
$
Yeni İş Kabiliyetleri
Data Mart
konsolidasyonunun
gerçek değeri
Giderlerde Azalma
Data Mart
3
10/1/2014
3NF
Teradata Confidential
İŞ Kabiliyetleri
Op. Giderler
Neden Teradata?
Özellikler
Teradata
Kurumsal Odak
Teradata uçtan uca veri ambarı odağı ile hizmet
veren bir firmadır
Teknoloji Yol Haritası
Her boyuttaki firma için müşteri ihtiyaçlarını
adreslemek için tek bir yazılım platformu
Niş Platform
Datamart çözümünlerinden kurumsal veri ambarı
çözümlerine kadar her türlü analitik ihtiyaç için
çözümler sunan ölçeklenebilir bir platform
Zengin Araçlar
Hem yönetimsel hem de sorgu amaçlı sağlanan
ve devamlı geliştirilen araçlar
Eş Zamanlı Sorgu
Sistemdeki her türlü sorgunun istenilen öncelikle
yönetilmesini sağlayan bir altyapı
Disk Yönetimi
Disk Yönetimi, partition bakımı, sık kullanılan
verilerin memory’de tutulması gibi işlerin
otomatik olarak yapılması
Performans
Seçenekleri
Yazlım altyapımız ile ile çok seviyeli partition,
aggregate join index gibi farklı özellikler
4
10/1/2014
Teradata Confidential
Neden Teradata?
Özellikler
Teradata
Ölçeklenebilirlik
Yeni donanım ihtiyaçlarının müşterilerin beklentilerine
göre belirlenerek lineer bir ölçeklenme altyapısı
In-Memory Database
Desteği
Sık kullanılan verilerin In-Memory olarak saklanması
ve bu işin sistem tarafından otomatik olarak
yapılması
Columnar
Teradata Hybrid Columnar özelliği ile verinin satır ve
kolon yapılarının ihtiyaçlara göre yönetilmesi
User Sandboxes
Data Lab opsiyonu ile kullanıcılara için otomatik
bakımı yapılan bir opsiyon sunulması
Tarihsel Sorgular
Temporal opsiyonu ile slowly changing dimension
bakımının otomatik olarak yapılması
Capacity On-Demand
İhtiyaç olduğunda kolay bir şekilde lisansların aktif
hale getirilmesi
Support
Farklı seviyelerdeki destek çözümleri ile
müşterilerinin hayatını kolaylaştırması
5
10/1/2014
Teradata Confidential
Teradata Çok Boyutlu Ölçeklenebilirliği
Data Volume
(Raw, User Data)
Mixed
Workload
Query
Concurrency
Active Data Warehousing
concurrent ad-hoc and tactical
“Iterative”, Ad Hoc Queries
Data Analysis/Mining
Near real time
Daily
Data loads Hourly
Weekly
Data
Freshness
10/1/2014
100s of queries
10’s of queries
3-5 Way 5-10 Way
Joins
Joins
10-20 Way
Joins
Query
Complexity
Batch Reporting,
Repetitive Queries
Simple
MB’s
Star
Reports: posted
Multiple,
Query results
Integrated
Governor: query
Stars
Builder
Normalized
GB’s
Massaged: hand
Tuned
Multiple, Integrated
Ad hoc:
Stars and Normalized
TB’s
Free reign
Query
Freedom
6
1000s of queries
Query Data Volume
Teradata Confidential
Schema
Sophistication
Geleneksel Mimarideki Sorunlar Nelerdir?
Transactional Users
Hub and Spoke
Data Warehouse
4. Pahalı
Data Replication
2. Gecikme – Veri güncelliği
Data Marts
Enterprise Information Integration
Decision Users
Strategic
Users
7
10/1/2014
Tactical
Users
Reporting
OLAP Users
Teradata Confidential
Data
Miners
Event-driven/
Closed Loop
Business & Technology – Consultation
Support & Education Services
1.Verinin birden fazla kopyası
Operational
Data Store (ODS)
Enterprise, System, & Database Management
Middleware/Enterprise Service Bus
Optional
ETL Hub
Logical Data Model
Data Transformation
Metadata
Transactional Data
Physical
Data Base Design
3. Karmaşık
Entegre, Erişilebilir, Yönetilebilir
Audit &
Lineage
Sources
Metadata and Archive
Acquisition1
..n
Structured
Sources
Integrated
Data
Master
Data
Access1..n
Delivery
OLAP
Reference
Data
Reporting
Ad hoc
Logical Structures
(e.g., Views)
Structured
Data
Logs/
Text
Variable
Structured
Data
Applications
Common
Summary
Transaction and
Data
Derived
Values
8
Downstream
Export
Results Loop
Files
Physical
Structures
Machine/
Sensor
User
External
Files
10/1/2014
Dashboard
Discovery Environment1..n
(table or file)
Data Mining
Delivery
Discovery &
Investigation
Teradata Confidential
Geçmiş Dönemde Yapılan Dönüşüm
Projelerinin Temel Teknik Kazanımları
After Teradata
Migration
70%
60%
50%
40%
30%
20%
10%
0%
Lines of
Code
Reduced
Job Steps
Reduced
Load Times ETL Times
Reduced
Reduced
Huge query & concurrent load performance increase! up to 4x-8x for query concurrency
and 3x-10x for ad hoc query performance!
9
10/1/2014
Teradata Confidential
Teradata’ya Geçiş Yaklaşımımız
• Profesyonel Hizmetler
> Bütünleşik ve güvenilir geçiş metodolojisi
– Kanıtlanmış süreçler
– Risk yönetimi
Profesyonel Hizmetler
takımımız bugüne
> Geçiş Araçları
kadar 300+ Oracle ve
– Migration Estimator
100+ SQL Server
– Teradata Migration Accelerator
– Teradata Parallel Transporter
geçişi gerçekleştirdi
– Partner Araçları
• Wisdomforce Fastreader, Ab Initio, Informatica, SQL Server
Integration Services vb
> Deneyimli Kadro
– Her endüstriden, ve her bölgede 5000+ danışman
10
10/1/2014
Teradata Confidential
Geçiş Süreci Nasıl?
•
•
•
•
•
11
10/1/2014
Geçiş sürecinin adımları
Geçiş tipleri
Verinin Taşınması
ETL Süreçlerinin taşınması
Uygulamaların taşınması
Teradata Confidential
Teradata’ya geçiş planlaması
İlk Adım
Proje Başlangıcı
• Hızlı proje Değerlendirmesi
• 1-3 gün veri ambarının incelenmesi
• Hızlı efor ve içerik tahminlemesi
• Teradata ve Kurum
kaynaklarının atanması
• Süreçlerin başlatılması ve
yönetimi
Proje Öncesi Aktiviteler
•
•
•
•
•
•
12
1-3 haftalık tam değerlendirme
Geçiş anketi
Tahminleme tablosu
Geçiş methodu belirlenmesi
Proje Planının oluşturulması
Kaynak Planlaması
10/1/2014
İş Bildirisinin
Oluşturulması(SOW)
Teradata Confidential
Geçiş Opsiyonlarını Belirleyen İhtiyaçlar
Ölçeklenebilirlik ve
Performans Limitleri
Maliyetleri Azaltma
Entegre Veri –Yeni Veri
Modeli
Kompleks yapı sorunları
Yönetim Sorunları
ETL Yükleme Süreleri
Yeni İş İhtiyaçları
13
10/1/2014
Teradata Confidential
Geçiş Opsiyonları
1:1 Migration
Redesign
Evolution
14
10/1/2014
Teradata Confidential
Geçiş Opsiyonları
1-1 Data Migration (forklift)
Data
Sources
DB 1
DB 2
ETL/ELT Layer
- Informatica
Data Mart(s)/ ODS/
Data Warehouse
BI Layer/ Applications
-
- Data Stage
- Custom Scripts
Business Objects
Cognos
Tableau
Microstrategy
Reports
- Unix Scripts
DB 3
Applications
Files
Data
Sources
DB 1
DB 2
Data Exports
Oracle/DB2/Sybase/
SQL Server
ETL/ELT Layer
- Informatica
- Data Stage
Data Mart(s)/ ODS/
Data Warehouse
Convert
- Custom Scripts
BI Layer/ Applications
-
Business Objects
Cognos
Tableau
Microstrategy
Reports
- Unix Scripts
Convert
DB 3
Applications
Convert
Files
15
Teradata
Data Exports
Geçiş Opsiyonları
Redesign
Data
Sources
DB 1
DB 2
ETL/ELT Layer
- Informatica
Data Mart(s)/ ODS/
Data Warehouse
BI Layer/ Applications
-
- Data Stage
- Custom Scripts
Business Objects
Cognos
Tableau
Microstrategy
Reports
- Unix Scripts
DB 3
Applications
Files
Oracle/DB2/Sybase/
SQL Server
Data Exports
Migrate Historic Data
Data
Sources
DB 1
DB 2
DB 3
Acquisition and ETL
Layer
ETL/ ELT tool based
on:
- Customer req.
- Teradata
Recommendations
Teradata
recommended ETL
design
Integrated
Data Warehouse
Teradata
iLDM
REDESIGN
Files
REDESIGN
Teradata
16
BI Layer/ Applications
BI / Applications:
- Tools selection based
on customer
requirements
- Tools recommended
by Teradata
REDESIGN
Reports
Geçiş Opsiyonları
Evolution
Data
Sources
DB 1
DB 2
ETL/ELT Layer
- Informatica
Data Mart(s)/ ODS/
Data Warehouse
BI Layer/ Applications
-
- Data Stage
- Custom Scripts
Business Objects
Cognos
Tableau
Microstrategy
Reports
- Unix Scripts
DB 3
Applications
Files
Data Exports
Oracle/DB2/Sybase/
SQL Server
1:1 Data Migration
Data
Sources
DB 1
DB 2
DB 3
Files
17
Acquisition and ETL
Layer
ETL/ ELT tool based
on:
- Customer req.
- Teradata
Recommendations
Teradata
recommended ETL
design
Integrated
Data Warehouse
Ad-hoc user access
1
2
3
Teradata iLDM
4
BI Layer/ Applications
BI / Applications:
- Tools selection based
on customer
requirements
- Tools recommended
by Teradata
Reports
Geçiş Kapsam belirleme:Anket ve Envanter Çalışması
Veritabanı Nesneleri
ETL İşleri
Raporlamalar ve Uygulamalar
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
18
•
Oracle to Teradata Scoping Survey v 4.0
How many databases are being converted?
Number of tables
What is the version of each database?
Number of Views
What is the platform (Sun, HP, etc.) and
configuration (cpu’s, memory, disk) for each
Number of Materialized Views
database?
ANSI Columns/Non ANSI Columns
What is the primary type of schema (Star, 3NF,
source system structures, etc)?
Core Data Tables
Reference/Lookup Tables
For each schema how many tables are there? Enter
the total number of tables in the Input! D6 cell of the
Tablespace Size
spreadsheet.
Secondary Indexes
For each schema how many views are there? Enter
the total number of views in the Input!D7 cell of the
BLOBS/CLOBS
spreadsheet.
DB Links
For each schema how many ANSI standard columns
ETL Tool Used (TYPE & VERSION)
are there? Enter the total number of columns in the
Input!D8 cell of the spreadsheet.
Number of ETL Tool Jobs
For each schema how many core data tables are
SQL/PLSQL Exits- Cursor or Set
there? Enter the total number of core data tables in
the Input!D9 cell of the spreadsheet.
# Of Extract Jobs
SQL Loader Jobs
For each schema how many reference/lookup tables
are there? Enter the total number of
Triggers
reference/lookup tables in the Input!D10 cell of the
spreadsheet.
Dynamic SQL
BI Tool (TYPE & VERSION)
10/1/2014
Teradata Confidential
PLSQL Applications –Cursor or Set
Tahminleme Aracı
Summary of Work
Conversion Area
Man Wks
Notes
Database & Data Migration
13.60
Assumes a 2 Node System at 100Mbit
Application/SQL Conversion
40.15
Check Effort factors & Assumptions
BI & Tool Conversion
30.5
Validate Testing Strategy
Total Raw Man Weeks
84.25
Factor
Additional Testing & QA
8.43
10%
Data Model Implementation
2.21
5%
New ETL Implementation
2.04
15%
Production Implementation
2.00
Final Total
98.92
Of Raw Effort
Assumed Forklift
New Production Support Procedures
4451.47
Hours
Cal Months
19
10/1/2014
Teradata Confidential
Weeks for Wk
12.37
3.09
# People
8
Geçiş Metodolojisi
Assessment &
Design
Integration &
System Test
Build & Unit Test
Production
Parallel Run
Purpose
• Existing System Documentation
• Build Out Migration Project Plan
• Current System Detailed Analysis
• Design
Purpose
• Build Dev Database
• Convert Database objects, ETL Code
& BI reports
• Build out BAR process
• Setup and test History Data Migration
Process
Purpose
• Build Test Database
• End to End Test of ETL &BI code
• Test Historical Data Migration
process
• Build Deployment Plan
Purpose
• Build Teradata Prod Env.
• Load Historical Data
• Deploy ETL and BI code
• Run ETL as per prod schedule
• Data comparison with Oracle
• BI Report and query validation
Input
 Data Flow and ETL flow diagrams
 Physical Data Models
Input
 ETL & BI Dev environment ready
 Inventory of Objects
 Baseline Code
 Design Documents
 Historical Data Migration approach
 Teradata BAR Strategy
 Unit Test Data
Input
• Master Test Plan
• IST Test Data
• Converted ETL and BI code
• Oracle Parallel Test Environment
• Scheduler changes for ETL code
Input
• Tested ETL and BI code
• Deployment Plan
• Initial/Historic Data loaded
• Tested Database objects
• Tested DB Indexes & access layer
• Tested Server connections
Output
 Project Plan
 Inventory of all DB objects, ETL
programs and BI programs
 Complete inventory of servers and
connectivity requirements
 Developer access for Teradata team**
 Design Documents**
Output
 Converted Development Database
 Converted ETL and BI code
 Historical Data Migration process set
up
 BAR process
 End User security structure
 Updated Physical Data Models
 Connectivity changes in place for dev
and test servers
Output
• Tested ETL and BI code
• Deployment Plan
• Initial/Historic Data loaded
• Tested Database objects
environment
• Tested DB Indexes & access layer
• Tested Server connections
• BAR process**
• Tested End User security structure
Output
• Operational Teradata environment
• Operational ETL and BI processes
• Completed End User Security
setup
• Teradata TTU pushed to end user
desktops/laptops where required
Artifacts
 Project Plan
 Inventory of Objects
 Detailed Database Design**
 Detailed Design Specifications**
 Historical Data Migration approach
document**
 Teradata Backup Recovery Strategy**
 Master Test Plan**
Artifacts
• Teradata Development Database
• Updated Physical Data Model
• Converted ETL & BI Code
• ETL Scheduler changes
• Historical Data Migration process set
up
Artifacts
• IST Tested ETL Code
• IST Tested Job Schedules
• IST Tested BI code
• Database Back-up and recovery
• Test results
• End User Security Structure
Artifacts
• Productionised Teradata
Environment
20
10/1/2014
Teradata Confidential
Teradata’ya Geçiş Araçları
• Teradata Migration Accelerator (Oracle/DB2’dan Teradata’ya)
> Kaynaktan hedefe veritabanı nesnelerinin yaratılması
> Teradata Parallel Transporter ile performanslı veri yükleme
> PL/SQL ve SQL dönüşümleri
> Cursor yaklaşımından Set yaklaşımına kod dönüşümü
> Informatica dönüşümü
• Teradata OLE DB Access Module
> Windows tabanlı kolay kullanımlı veri ve tablo taşıma
> Tüm OLE DB kaynaklarına erişim
• Wisdomforce FastReader-(partner aracı)
> Oracle’dan blok bazlı hızlı veri çıkışı
• SwissSQL Console (partner aracı)
> Oracle SQL’ini Teradata SQL’ine gerçek zamanlı dönüştürme
• Ispire SQL Ways (partner aracı)
• SQL Server Integration Services((SQL Server Teradata’ya)
21
10/1/2014
Teradata Confidential
Teradata Migration Accelerator
Dönüşüm
Projeleri
Kullanıcılar
İşler &
Raporlar
TMA Ana Ekranı
22
10/1/2014
Teradata Confidential
Teradata Migration Accelerator
Teradata
Veri Tipleri
Oracle
Veri Tipleri
Otomatik veri tipi dönüşümü
23
10/1/2014
Teradata Confidential
Teradata Migration Accelerator
Schema
Taşıma
Veri
Taşıma
Tek bir
tuşla
dönüşüm
Şemaları/Tabloları ve Verileri tek tuşla Teradata’ya taşıyın!
24
10/1/2014
Teradata Confidential
Teradata Migration Accelerator
SQL ve Stored Procedure
Dönüşümü
Otomatik SQL , PL/SQL ve SQL+ Dönüşümü
25
10/1/2014
Teradata Confidential
ETL ve BI Dönüşümleri
Teradata Partner İşbirlikleri
BI Araçları
•
•
•
•
•
Portrait
Cognos
Tableau
Microsoft
Microstrategy
ETL Araçları
•
•
•
•
•
Ab Initio
Attensity
Attunity
Clarabridge
DataDirect
26
10/1/2014
•
•
•
•
•
•
•
•
•
•
BIS²
IBI
Safe
SAS
KXEN
•
•
•
•
•
SPSS
TIBCO (Spotfire)
SAP NetWeaver
SAP Business Objects
QlikView
Syncsort
Talend
GoldenGate
Harte Hanks
IBM InfoSphere
Teradata Confidential
•
•
•
•
•
Simba Tech.
Speed-Trap
Vision Sol.
WisdomForce
MS SSIS
•
•
•
•
•
Informatica • Composite
Software
Open Text
•
Embarcadero
Oracle
•
Expressor
SAP BOBJ
Software
SAS DI
Teradata’ya Geçiş Başarı Hikayeleri
27
10/1/2014
Teradata Confidential
THY Migration Projesi İhtiyacı
THY DWH veri ambarı sistemi, yeni Teradata merkezi veri
ambarı çözümüne taşınarak :
• Performans ve yönetim problemlerinin giderilmesi
• Verilere tek
sağlanması
bir
ortamdan,
hızlı
ve
kolay
erişilmesinin
• Veri madenciliği ve analitik çözümlerin sunulabilmesi
• Dağınık ortamlarda yapılmış ETL geliştirmelerinin ortak bir
platformda birleştirilmesi
28
10/1/2014
Teradata Confidential
THY Migration Projesi Sonuçları
• TMA ile 10 TB Veri Aktarımı
• 3000+ tablo aktarımı
• 5000 + obje dönüşümü
• 500+ OWB job’unun 2000+ üzerinde Datastage ETL job’ına
dönüşümü
• ETL süreçleri için metadata modeli implementasyonu
• 500+ raporun Teradata üzerinde çalışır halde olması
• Veri Ambarı sorgularında 100 kata kadar performans artışı
29
10/1/2014
Teradata Confidential
Teradata’ya Geçiş Başarı Hikayeleri
30
10/1/2014
Teradata Confidential
Proje Öncesi Ortam
•
•
•
•
•
Operational DWH
Real Time Data
Replication(GG)
TT LDM
ETL Tool (MS SSIS)
OLAP Cubes (MS SSAS)
ODS-1
31
EBM
10/1/2014
•
•
Operational DWH
Real Time Data
Replication(GG)
ODS-2
Teradata Confidential
•
•
Operational Data Center
T-1 Reporting DWH
ODS-3
Türk Telekom
Migration
Projesi Projeleri - Migration
Mevcut Veri Ambarı
EGE\ODS
Sybase IQ
Sybase
IQ
ODS-1
EBM
ACLDB
AKDENIZ\EBM
ODS2-2
01.06.2012
15.05.2012 01.06.2012
Analiz
Tasarım
05.10.2012
Geliştirme
06.12.2012
Test
Canlı Kullanım
• 185 TB verinin, 12.000 tablonun taşınması
• 22 şemanın Golden Gate replikasyonu (4000 tablo)
• 500 script’in değiştirilmesi
• 540 SSIS ETL paketinin Informatica ETL paketine dönüştürülmesi
32
10/1/2014
Teradata Confidential
Migration Mimari Planı
Kaynak Sistem
Kullanıcı
Sistemleri
Veri Ambarı
Voyager
ODS
EBM
CDC
GYD
MEY/MUTES
SSAS
Cubes
33
10/1/2014
Teradata Confidential
GYD
Kurumsal Veri Modeli Transformasyon (cLDM)
Kaynak
Sistemler
TMS
Siebel
TTS
MTS
Entegrasyon
Katmanı
ORDER
ORDER NUMBER
ORDER DATE
STATUS
“Enterprise”
DWH
(LDM Modeli)
ORDER ITEM BACKORDERED
QUANTITY
CUSTOMER
CUSTOMER NUMBER
CUSTOMER NAME
CUSTOMER CITY
CUSTOMER POST
CUSTOMER ST
ORDER ITEM SHIPPED
QUANTITY
SHIP DATE
CUSTOMER ADDR
CUSTOMER PHONE
ITEM
CUSTOMER FAX
ITEM NUMBER
QUANTITY
DESCRIPTION
PRODUCT
PERIOD
PERIOD KEY
DAT E
DAY
MONT H
YEAR
QUART ER
T RIMEST ER
Application
Raporlama
Katmanı
CUST OMER
Application
CUST OMER KEY
CUST OMER NAME
CUST OMER CITY
CUST OMER POST
CUST OMER ST
CUST OMER ADDR
CUST OMER PHONE
CUST OMER FAX
SALES
PERIOD KEY
PRODUCT KEY
CUST OMER KEY
MARKET KEY
DOLLARS
UNIT S
PRODUCT KEY
PRODUCT NAME
DIST RIBUTOR
PRODUCT DESCRIPTION
PRODUCT HEIGHT
PRODUCT WIDT H
PRODUCT DEPTH
PRODUCT WEIGHT
10/1/2014
Application
MARKET
MARKET KEY
CIT Y
STAT E
ZIP
ZIP4
DIST RICT
REGION
COUNT RY
Dimensional
34
34
Logical
Views
Teradata Confidential
Ortak
Veri
Modeli
Kurumsal Veri Modeli Transformasyon (cLDM)
2012
Haziran Temmuz Ağustos
Stream
1
Eylül
2013
Ekim
Kasım
Aralık
Şubat
Mart
Nisan
Mayıs
Haziran
Müşteri, Abonelik, Ürün, Hesap
Stream
2
Network Aktivite, Müşteri Adresi
Finans, Gelir, Arıza
Stream
3
Promosyon, Kampanya
Stream
4
Başlangıç
35
Ocak
10/1/2014
Bitiş
Teradata Confidential
nezih.sozdinler@teradata.com