Düşük maliyet ile mikro süper bilgisayar oluşturma ve Apache Hadoop entegrasyonu
Küçük Resim Yok
Tarih
2015
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Maltepe Üniversitesi, Fen Bilimleri Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Bu tez çalışması günümüzün önemli problemlerinden olan büyük miktardaki veri dosyalarının işlenmesindeki yüksek maliyet ve büyük sistemlere olan ihtiyacın daha düşük maliyetli, az yer kaplayan ve yönetimi kolay ARM mimarili mikro bilgisayarlar ile nasıl yapılabileceğini içermektedir. Günümüzde Hadoop Dağıtık Dosya Sistemi (Hadoop Distributed File System (HDFS)) büyük boyutlu veriyi saklama ve işlemede yaygın olarak kullanılmaya başlanmıştır. HDFS paralel işleme için MapReduce programlama modelini kullanmaktadır. Bu sayede büyük verileri sınırsız sayıda genişleyebilen yeni nesil dağıtık mimari sistemler üzerinde işlenebilmektedir. Geleneksel sistemlerde küme (cluster) yapıları kurabilmek için mimarilerin ve sistemlerin aynı olması gerekirken bu tez çalışmasında açıklanan sistemin kurulumu için mimarilerin, sunucuların ve küme içerisine dâhil edilecek düğüm (node) adedinin bir sınırı bulunmamaktadır. Büyük verilerin yukarıda özetlenen zorluklara rağmen daha kolay ve ekonomik yöntemler ile işlenebileceği açıklanmıştır. Büyük verilerin işlenmesi konusunda yakın gelecekte mikro bilgisayarın daha ön plana çıkacağı beklenmektedir. Bu tez çalışması büyük verilerin mikro bilgisayar sistemleri ile işlenmesi konusunda önemli katkı sağlayacağından araştırmacılar ve uygulama geliştiriciler için referans olma niteliği taşımaktadır.
This graduate thesis explains how big data proccessing problems that requires too much resources to manage with huge costs can be solved with lower cost, easy to maintain and small take up ARM engineered micro computers. Nowadays, Hadoop Distributed File System (HDFS) is commonly used for storing and proceesing big data. HDFS uses MapReduce programming model for paralel processing. By the help of this method, big data can be processed by new generation distubuted architecture systems which has capability of getting extention unlimitedly. Although to establish even clustered infrastuctures in conventinal systems, the architectures and system modelling must be same; there is no limitation for architectures, servers or number of nodes in clusters for the systems explained in this thesis. Despite of the difficulties explained above to process big data, the thesis shows that there are more easy and economic techniques to solve them by the help of microcomputers which will be more widely used in near future than today. Consequently this thesis can be accepted as reference by application developers and researchers.
This graduate thesis explains how big data proccessing problems that requires too much resources to manage with huge costs can be solved with lower cost, easy to maintain and small take up ARM engineered micro computers. Nowadays, Hadoop Distributed File System (HDFS) is commonly used for storing and proceesing big data. HDFS uses MapReduce programming model for paralel processing. By the help of this method, big data can be processed by new generation distubuted architecture systems which has capability of getting extention unlimitedly. Although to establish even clustered infrastuctures in conventinal systems, the architectures and system modelling must be same; there is no limitation for architectures, servers or number of nodes in clusters for the systems explained in this thesis. Despite of the difficulties explained above to process big data, the thesis shows that there are more easy and economic techniques to solve them by the help of microcomputers which will be more widely used in near future than today. Consequently this thesis can be accepted as reference by application developers and researchers.
Açıklama
Anahtar Kelimeler
Büyük veri, Dağıtık dosya sistemleri, Eşle/İndirge, Paralel işleme, Big data, Distributed file systems, MapReduce, Parallel processing
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Yılmaz, R. A. (2015). Düşük maliyet ile mikro süper bilgisayar oluşturma ve Apache Hadoop entegrasyonu / Creating micro supercomputers with low cost and Apache Hadoop integration (Yayımlanmamış Yüksek Lisans Tezi). Maltepe Üniversitesi, Fen Bilimleri Enstitüsü, İstanbul.
