Yeni Blog

Kendime ait blog adresim  http://zekeriyabesiroglu.com . Bundan sonraki yazılarımı http://zekeriyabesiroglu.com  den takip edebilirsiniz.

Teşekkürler.

Hadoop Nedir?

Hadoop nedir?

Hadoop bir frameworktur. Uzerinde buyuk uygulamaları calıstıran cluster mimarisinden olusur.

Hadoop Apachide develop edilmiştir.

Open sourcedur

javada yazılmıştır

Mapreduce sayesinde datayı parçalar.

Hadoop files system kullanarak datamızı makinalar arasında kopyalara dağıtabiliriz.

Hadoop namenode,jobtracker,datanode ve HDFS bileşenlerinden oluşur.

Namenode:Tek makina. Görevi metadatayı ve ulaşım kontrolunu sağlamaktır.

JobTracker:Tasktrackers yaptıgı görevleri takip eder.

Datanodes:Datayı tutan ve işleyen makinalar. Birçok makina arasında data kopyalanır.

HDFS: Data giriş çıkışını tutar.

HDFS özellikleri nelerdir.

Büyümesi kolay hatayı tolere edebilen bir sistemdir. Bir kere yazılır birçok kere okunur. Hiyeraşık bir yapısı vardır. 

akıllı clientlardan oluşur.Butun sistem için bir ad alanı vardır.

Raid gibi bir sistem olmadan data kopyalanır.Genelde iki hiyeraşık yapıdan oluşur.

1. namenode(master)

2. datanodes(slave)

Client datası chunklara ayrılıp(genelde 64mb) datanodelara dagıtılır. datanodelar arasındada kopyalanır.

Nameenode dediğimiz sistem metadatayı tutar. İmage fileların (fsimage) durumu,file sistem değişiklikleri 

loglar (edits) namenode sorumludur.

Birde checkpoint node kavramı vardır. Bu makina namenodeun yedeğidir. Başka bir makinada çalışır ama namenode memory gibi 

özelliklerini barındırır.Direcory yapısı namenode aynısıdır.

Datanodelar ise okuma ve yazma isteklerine cevap verirler. Namenodedan aldıkları komut neticesinde block yaratır,siler yada başka datanode kopyalarlar.

HDFS bir replikasyon factoru vardır.

Örnek vermek gerekirse factorun 3 olduğu durumda

Bir kopya bir makinada lokal rackta

bir kopya farklı remote rackta

bir kopya ise farklı makinada aynı remote rackta durur.

Bir sonraki yazım Mapreduce nedir olacak

Oracle Big Data Nedir

Oracle Big Data

Big Data nedir? Big data hacimli yapılandırılmamış verilerden oluşur. Farklı veri kaynaklarından veriler big dataya girer.
Farklı kaynaklarımız sosyal medya,bloglar,bazı finans ve banka verileri,log verileri,e ticaret servisleri gibi örneklendirilebilir.
Geneleksel veritabanlarıda tutulmayan bu tarz veriler akıllı telefonların devreye girmesiyle günden güne çoğalmaktadır.
Genel olarak big data yı 4 V den oluştuğunu söyleyebiliriz.

Volume (Hacim):Verinin hacmi.Günden güne büyüyen veri
Variety (Çeşitlilik): Çok çeşitli kaynaklardan gelen verilerin analiz edilmesi ve işlenmesi
Velocity (Sürat): Hacmi artan verinin sisteme aktarılması
Value (Değer): Diğer 3 vnin toplamından oluşur diyebiliriz.

Verinin dönüştürülmesi 4 aşamalı bir süreçten geçiyor
Acquire:Raw datanin HADOOP ve NOSQL kullanılarak elde edilmesi
Organize:Map reduce kullanarak datanın rafine edilmesi
Analyze:Analise uygun hale getirme
Decide:iş verisine dönüştürme. Verinin dönüştürüldüğü bu dört aşama tek bir makinada olmaz. İlk iki aşama için Oracle Big data appliance kullanabiliriz.


Acquire aşamasında HADOOP,NOSQL ,ORACLE OLTP
Organize aşamasında ODI,Cloudera CDH,OLH
Analyze aşamasında Oracle DW,Oracle Analytics data mining R spatial,OBİ kullanılabilir.

Oracle Big data appliance nedir?

Oracle Big data appliance bir engineered sistemdir. Yani Hardware ve Software üzerinde beraberce barındırır.Cloudera chd ve Oracle Nosql database barındırır.Acquire ve Organize aşamalarını kapsayabilir.
Hardware özellikleri

- 18 tane Sun X4270 M2 makina
- 48 GB memory her makinada
- 12 Intel core her makinada
- 24 TB storage her makinada

Software özellikleri

- Oracle NoSQL database
- Oracle Big data connector
- Open Source R
- Cloudera Management&Cloudera's Distribution including Apache Hadoop
- Oracle Linux 5.6  and Java Hotspot VM


Oracle Big data connector sayesinde big datayla Oracle database arasında çalışabilir.

Oracle Direct Connector for HDFS
Oracle Loader for Hadoop
Oracle Data Integrator Application Adapter for Hadoop
Oracle R Connector for Hadoop

Hadoop distributed file system nedir?
Hadoop HDFS yi büyük datafileları küçük chunklar halinde tutar ve makinalar arası kopya yapar.

Oracle NOSQL database nedir?
Key value databasedir.Berkeleydb java editiondan doğmuştur.Key valuelar parcalar halinde makinalara dağılmış ,kopyalanmıştır.

Oracle exadata ile Oracle Big data appliance arasında bağ varmıdır.

Oracle big data appliance acquire ve Organize aşamasında çalışmaktadır. Araya konulan infiniband sayesinde Oracle Exadatayı Analyze ve decide kısmında kullanabiliriz.
Oracle Exalytics te bu aşamada Exadata ile beraber görev yapabilir.

Bir sonraki yazımda HADOOP nedir konusunda olacak.

Oracle 12C High Availability New Features

1- Oracle Cloud File sistem ACFS ve ADVM temelinde oluşmaktadır. Bu sistemin yeni 12c ile gelen bir takım yeni özellikleri vardır.

Bunlar:

–High availability NFS

–Snapshot iyileştirmeleri

–Bütün Oracle Database filelarını desteklemek

–İleri seviye auditing

–Ölçülebilir plug-in

–İyileştirilmiş replikasyon

–İyileştirilmiş kaynaklar

–Geniş Platform desteği

2-Flex Cluster: Bundan önceki cluster sistemlerde Oracle 32 veya 64 node u maximum görüyordu. Bugün 2000 nodelara çıkabilen bir altyapıya ulaştı. Bu mimaride birden fazla veritabanı veya uygulamalar aynı tek cluster içerisinde yer alabilecek. Hub node ve leaf nodelardan oluşan bu sistemde sadece hub nodelar OCR ve Voting disklere erişebilecekler. Bütün Nodelar birbirleri arasında haberleşmiyecekler.

3-İlerlemiş seviye Cluster politikaları yönetimi

4-What-if komutu:Bu süper bir komut bu komutu çalıştırdığımızda yapacağımız işlemin sisteme etkisini önceden görebileceğiz.

örnek

crsctl eval { start | stop | relocate | modify | add | fail } resource

srvctl { add | start | stop | modify | relocate } database ... -eval

srvctl { add | start | stop | modify | relocate } service ... -eval

hatta fail eden durumu bile değerlendirebileceğiz.

srvctl predict { database | service | asm | diskgroup | filesystem |vip | network listener | scan | scan_listener | oc4j } ... [-verbose]

5-Tek GNS birden fazla Clusteri destekler hale geldi.

6-Flex Asm: Bundan önce ASM clientları sadece kendi hostlarındaki ASM instancelara ulaşabiliyordu. Artık Flex ASM özelliği sayesinde ASM Clientları networku kullanarak ASM bağlanabilecekler.

7-artık resync ne kadar surer rebalance ne kadar sürer bunu hesap etmek mümkün olacak.

SQL> SELECT PASS, STATE, EST_MINUTES FROM V$ASM_OPERATION;

8-Password file artık asm de durabilecek

Oracle Day Istanbul 2013

Muhtesem geçen Oracle Open Worldten sonra Istanbulda Teknoloji dünyasının Türkiyedeki en büyük organizasyonlarından biri gerçekleşecek. 14 Kasım 2013 günü Taksimde İstanbul Kongre merkezinde sektörün binlerce önemli uzmanı bir araya gelecek.

TROUG-Oracle Bilgisayar programcılar dernegi olarak bizlerde orada olacağız. Birbirinden önemli sunumlarımız olacak.
Birçok önemli sunumlar arasında TROUG sessionları Oracle desteklediği bir panel ile başlayacak TürkiyedeNitelikli Bilişim elamanı yetişitirilmesi ardından
12c Oracle DB/DWH  yeni özellikleri Zekeriya Beşiroğlu -Hüsnü Sensoy
Sql Plsql yeni özellikler Umit Varol
Oracle EBS yeni özellikler Gökhan Atıl
Exadata Emre Bransel
EDQ,OGG ve ODI Gürcan Orhan olacak. Sunum başlıklardanda gördüğünüz üzere  hep yeni özeliklikler ve teknolojilerden bahsetmeye çalışacağız.

Bütün Arkadaşlarımız bu büyük güne ücretsiz katılabilirler.
Hemen kayıt olmak için

Oracle 12c veritabanı eğitimleri başlıyor.

Oracle 12c Eğitimleri Türkiye'de ilk kez Bilginc IT Academyde başlıyor. 

Oracle son veritabanı olan 12c aynı zamanda Dünyanın ilk Cloud(Bulut) mimarisindeki veritabanı olma özelliğini taşıyor.

Oracle 12c new features eğitimi ile birbirinden önemli yeni özellikleri , değişen Oracle veritabanı mimarisini öğreneceksiniz.

Güvenlik ,Yönetimsel özellikler ve Performans tarafındaki yeni özellikler bu eğitimde ana konu başlıkları olacak.

Başlıca yeni özelliklerin ele alındığı ana konu başlıkları

Online Data-file Move

Heat Map

Automatic Data Optimization

Temporal history

Temporal validity

Row-archival

Unified Auditing

Administrative privileges

Privilege Analysis

Data Redaction

Adaptive Execution Plans

SQL Plan Directives

Real-Time ADDM

Compare Period ADDM

Data Pump

Partitioning

SQL

Eğitime Kimler Katılmalı

veritabanı yöneticileri

system yöneticileri

Eğitimin Ön şartı

Oracle veritabanı bilgisine sahip olmak.

Oracle 12C database hakkında

Oracle'ın 1 Temmuz 2013 duyurduğu Dünyanın ilk Cloud database özelliğini taşıyan veritabanının yeni özelliklerini konuşacağımız seminerimize davetlisiniz.

Oracle Database'in arka arkaya yayınlanan sürümleriyle Oracle, müşterilerimizin bulut üzerinde veritabanı hizmetlerini standartlaştırma, konsolide etme ve otomatikleştirme çalışmalarını kolaylaştırmaya devam etmektedir. On yıl önce Oracle Real Application Clusters ve Oracle Automatic Storage Management gibi öncü özelliklerle yaptığımız başlangıç, BT'nin kaynak paylaşımı, yönetim esnekliği ve maliyet tasarrufları gibi bulut avantajlarından tamamen yararlanmasını sağlayan Oracle Multitenant ile devam ediyor.

Veritabanı konsolidasyonu, bulut yolculuğunda en önemli adımdır. Oracle Database 12c sürecin daha hızlı ve basit olmasını sağlayarak şema tabanlı konsolidasyonda yüksek yoğunluğa olanak tanır—hem de mevcut uygulama yazılımlarında değişiklik yapılmasını gerektirmez.

Bunu mümkün kılmak için tek bir birden çok kiracılı konteyner veritabanı artık birçok "takılabilir" veritabanı barındırabilir. Konsolide edilen veya takılan her veritabanında, birden çok kiracılı konteynerdaki uygulama yazılımları önceden konsolide edilmiş sürümdekiyle tamamen aynı görünür. Bulut yolculuğunun hızlandırılmasına ek olarak, konsolidasyon yönetimi basitleştirir; bu, yüzlerce hatta binlerce veritabanı yöneten kuruluşlar için çok büyük bir avantajdır

30 Eylul 2013 Oracle 12c database new features eğitimine katılmak için zekeriyab@bilginc.com adresinden bana ulaşabilirsiniz veya Bilginc IT Academy ile temasa geçebilirsiniz.

Oracle Database 12c yeni özellikler.

Arkadaşlar selamlar.

Oracle Database 12c nin bana göre son derece önemli birtakım yeni özelliklerinden bahsedeceğim. 12c veritabanının yüzlerce yeni özelliği olduğunuda unutmamak gerekir.

* Kiracılı model: Oracle veritabanı artık CDB (container database) ve PDB(pluggable database ) gibi iki temel kavramdan oluşuyor.

Container database temel veritabanımız. 12C ile beraber 3 seçeneğimiz var.

Çoklu kiracılı model

Tekli kiracılı model

Eski model

Bir root container ve çekirdek database imiz var. Yeni modelde veritabanları arasında birçok ortak process var bunlar

Background processleri ,shared memory,Oracle metadata,Redolog file,Controlfile ve Undo tablespace leri ortak.

Pluggable databaselerde ise apllication datası ve tablespaceleri, Local user ve Local Roleleri Local metadatayı bulmak mümkün.

 Aslında son derece mantıklı olusturulmuş bir sistem eskiden bir veritabanını kullansanızda kullanmasanızda BP ler çalışırdı. Yeni sistemde gereksiz çalışan hiçbir kaynak yok. Ortak çalışabilecek olanlar ortak tasarlanmış durumda.

Artık SQLdenSorguladığınızda

SQL>Select name,open_mode from v$pdbs;

PDB$seed diye bir database var ve read only durumda

diğer PDBler ise Read Write durumda lar.

* Diğer önemli bir gelişim ise sqldeveloper ürününde 

Artık SQL Developerdan DBA Navigator sayesinde

Pluggable database startup/shutdown

Database configuration: Initialization Parameters, Automatic Undo Management, Current Database Properties, Restore Points, View Database Feature Usage

Database status view

Data Pump Export and  Import jobs

RMAN Backup/Recovery actions

Resource Manager configuration

Scheduler setting

Security configuration like audit settings, profiles, roles, users

Storage configuration for archive logs, control files, data files, redo log groups, tablespaces, temporary tablespace groups

gibi operasyonları yapabileceğiz.Oracle 12c veritabanı ile enterprise manager da yaptığımız birçok iş artık SQLDeveloperdan yapılır hale gelmiş durumda.

* Artık Yarattığımız userlar Container veya local bazda yetkili olacaklar.

Genel yetkili

 SQL> CREATE USER C##_zekeriya IDENTIFIED BY oracle

  2  CONTAINER=ALL;

Lokal yetkili

SQL> CREATE USER Zekeriya IDENTIFIED BY oracle

  2  CONTAINER=CURRENT;

* Online çalışırken bir datafile isim ve/veya yer değiştirmesi

Bir datafile online durumda çalışırken başka bir lokasyona taşınabilir , yer değiştirebilir.

Asm datafiledan OS datafile taşınabilir

Kullanıcılar datafile taşınırken select –dml-ddl işlemlerini yapabilirler.

Bu operasyon tek stepte yapılıyor.

•SQL> ALTER DATABASE MOVE DATAFILE '/u01/data/zekeriya.dbf' TO '/u01/data/yenizekeriya.dbf‘;

•SQL> ALTER DATABASE MOVE DATAFILE '/u01/data/zekeriya.dbf' TO '+DATA';

•SQL> ALTER DATABASE MOVE DATAFILE '+DATA/orcl/DATAFILE/zekeriya.dbf ' TO '+FRA’

•SQL> ALTER DATABASE MOVE DATAFILE '/u01/data/zekeriya.dbf' TO '/u02/data/zekeriya.dbf' REUSE;

* Birden fazla indexi aynı kolonda kullanabilme özelliği

•Tek kolonda birden fazla index yaratabilme özelliği

•Btree ve Bitmap İndex bile aynı kolonda çalışabilecek.

* İnvisible Column-Görünmez Kolon

•11g ile beraber invisible indexlerle tanışmıştık.

•12c database bize invisible kolon özelliğini son derece basit bir şekilde getiriyor.

•Desc yada benzer select işlemleri ile kolonu göremiyoruz.

•İnsert ederken direk ismini belirtirseniz kullanabiliyoruz.

•SQL> CREATE TABLE personel (epno number, isim varchar2(40), maas number INVISIBLE);

•SQL> ALTER TABLE personelMODIFY (maas visible);

Bu yazıyı kaynak göstererek yayınlayabilirsiniz.