20.12.2013

Yeni Blog

Kendime ait blog adresim  http://zekeriyabesiroglu.com . Bundan sonraki yazılarımı http://zekeriyabesiroglu.com  den takip edebilirsiniz.

Teşekkürler.

18.12.2013

Hadoop Nedir?

Hadoop nedir?

Hadoop bir frameworktur. Uzerinde buyuk uygulamaları calıstıran cluster mimarisinden olusur.

Hadoop Apachide develop edilmiştir.
Open sourcedur
javada yazılmıştır
Mapreduce sayesinde datayı parçalar.
Hadoop files system kullanarak datamızı makinalar arasında kopyalara dağıtabiliriz.
Hadoop namenode,jobtracker,datanode ve HDFS bileşenlerinden oluşur.
Namenode:Tek makina. Görevi metadatayı ve ulaşım kontrolunu sağlamaktır.
JobTracker:Tasktrackers yaptıgı görevleri takip eder.
Datanodes:Datayı tutan ve işleyen makinalar. Birçok makina arasında data kopyalanır.
HDFS: Data giriş çıkışını tutar.

HDFS özellikleri nelerdir.

Büyümesi kolay hatayı tolere edebilen bir sistemdir. Bir kere yazılır birçok kere okunur. Hiyeraşık bir yapısı vardır. 
akıllı clientlardan oluşur.Butun sistem için bir ad alanı vardır.
Raid gibi bir sistem olmadan data kopyalanır.Genelde iki hiyeraşık yapıdan oluşur.
1. namenode(master)
2. datanodes(slave)
Client datası chunklara ayrılıp(genelde 64mb) datanodelara dagıtılır. datanodelar arasındada kopyalanır.
Nameenode dediğimiz sistem metadatayı tutar. İmage fileların (fsimage) durumu,file sistem değişiklikleri 
loglar (edits) namenode sorumludur.
Birde checkpoint node kavramı vardır. Bu makina namenodeun yedeğidir. Başka bir makinada çalışır ama namenode memory gibi 
özelliklerini barındırır.Direcory yapısı namenode aynısıdır.
Datanodelar ise okuma ve yazma isteklerine cevap verirler. Namenodedan aldıkları komut neticesinde block yaratır,siler yada başka datanode kopyalarlar.

HDFS bir replikasyon factoru vardır.
Örnek vermek gerekirse factorun 3 olduğu durumda
Bir kopya bir makinada lokal rackta
bir kopya farklı remote rackta
bir kopya ise farklı makinada aynı remote rackta durur.

Bir sonraki yazım Mapreduce nedir olacak


17.12.2013

Oracle Big Data Nedir

Oracle Big Data

Big Data nedir? Big data hacimli yapılandırılmamış verilerden oluşur. Farklı veri kaynaklarından veriler big dataya girer.
Farklı kaynaklarımız sosyal medya,bloglar,bazı finans ve banka verileri,log verileri,e ticaret servisleri gibi örneklendirilebilir.
Geneleksel veritabanlarıda tutulmayan bu tarz veriler akıllı telefonların devreye girmesiyle günden güne çoğalmaktadır.
Genel olarak big data yı 4 V den oluştuğunu söyleyebiliriz.

Volume (Hacim):Verinin hacmi.Günden güne büyüyen veri
Variety (Çeşitlilik): Çok çeşitli kaynaklardan gelen verilerin analiz edilmesi ve işlenmesi
Velocity (Sürat): Hacmi artan verinin sisteme aktarılması
Value (Değer): Diğer 3 vnin toplamından oluşur diyebiliriz.

Verinin dönüştürülmesi 4 aşamalı bir süreçten geçiyor
Acquire:Raw datanin HADOOP ve NOSQL kullanılarak elde edilmesi
Organize:Map reduce kullanarak datanın rafine edilmesi
Analyze:Analise uygun hale getirme
Decide:iş verisine dönüştürme. Verinin dönüştürüldüğü bu dört aşama tek bir makinada olmaz. İlk iki aşama için Oracle Big data appliance kullanabiliriz.


Acquire aşamasında HADOOP,NOSQL ,ORACLE OLTP
Organize aşamasında ODI,Cloudera CDH,OLH
Analyze aşamasında Oracle DW,Oracle Analytics data mining R spatial,OBİ kullanılabilir.

Oracle Big data appliance nedir?

Oracle Big data appliance bir engineered sistemdir. Yani Hardware ve Software üzerinde beraberce barındırır.Cloudera chd ve Oracle Nosql database barındırır.Acquire ve Organize aşamalarını kapsayabilir.
Hardware özellikleri

- 18 tane Sun X4270 M2 makina
- 48 GB memory her makinada
- 12 Intel core her makinada
- 24 TB storage her makinada

Software özellikleri

- Oracle NoSQL database
- Oracle Big data connector
- Open Source R
- Cloudera Management&Cloudera's Distribution including Apache Hadoop
- Oracle Linux 5.6  and Java Hotspot VM


Oracle Big data connector sayesinde big datayla Oracle database arasında çalışabilir.

Oracle Direct Connector for HDFS
Oracle Loader for Hadoop
Oracle Data Integrator Application Adapter for Hadoop
Oracle R Connector for Hadoop

Hadoop distributed file system nedir?
Hadoop HDFS yi büyük datafileları küçük chunklar halinde tutar ve makinalar arası kopya yapar.

Oracle NOSQL database nedir?
Key value databasedir.Berkeleydb java editiondan doğmuştur.Key valuelar parcalar halinde makinalara dağılmış ,kopyalanmıştır.

Oracle exadata ile Oracle Big data appliance arasında bağ varmıdır.

Oracle big data appliance acquire ve Organize aşamasında çalışmaktadır. Araya konulan infiniband sayesinde Oracle Exadatayı Analyze ve decide kısmında kullanabiliriz.
Oracle Exalytics te bu aşamada Exadata ile beraber görev yapabilir.

Bir sonraki yazımda HADOOP nedir konusunda olacak.

16.12.2013

Oracle 12C High Availability New Features

1- Oracle Cloud File sistem ACFS ve ADVM temelinde oluşmaktadır. Bu sistemin yeni 12c ile gelen bir takım yeni özellikleri vardır.
Bunlar:
–High availability NFS
–Snapshot iyileştirmeleri
–Bütün Oracle Database filelarını desteklemek
–İleri seviye auditing
–Ölçülebilir plug-in
–İyileştirilmiş replikasyon
–İyileştirilmiş kaynaklar
–Geniş Platform desteği

2-Flex Cluster: Bundan önceki cluster sistemlerde Oracle 32 veya 64 node u maximum görüyordu. Bugün 2000 nodelara çıkabilen bir altyapıya ulaştı. Bu mimaride birden fazla veritabanı veya uygulamalar aynı tek cluster içerisinde yer alabilecek. Hub node ve leaf nodelardan oluşan bu sistemde sadece hub nodelar OCR ve Voting disklere erişebilecekler. Bütün Nodelar birbirleri arasında haberleşmiyecekler.




3-İlerlemiş seviye Cluster politikaları yönetimi

4-What-if komutu:Bu süper bir komut bu komutu çalıştırdığımızda yapacağımız işlemin sisteme etkisini önceden görebileceğiz.
örnek
crsctl eval { start | stop | relocate | modify | add | fail } resource
srvctl { add | start | stop | modify | relocate } database ... -eval
srvctl { add | start | stop | modify | relocate } service ... -eval
hatta fail eden durumu bile değerlendirebileceğiz.
srvctl predict { database | service | asm | diskgroup | filesystem |vip | network listener | scan | scan_listener | oc4j } ... [-verbose]

5-Tek GNS birden fazla Clusteri destekler hale geldi.

6-Flex Asm: Bundan önce ASM clientları sadece kendi hostlarındaki ASM instancelara ulaşabiliyordu. Artık Flex ASM özelliği sayesinde ASM Clientları networku kullanarak ASM bağlanabilecekler.

7-artık resync ne kadar surer rebalance ne kadar sürer bunu hesap etmek mümkün olacak.
SQL> SELECT PASS, STATE, EST_MINUTES FROM V$ASM_OPERATION;

8-Password file artık asm de durabilecek