GERİ DÖN
Ders Öğretim Planı
| Dersin Kodu | Dersin Adı | Dersin Türü | Yıl | Yarıyıl | AKTS |
|---|---|---|---|---|---|
| 501004992025 | HIGH PERFORMANCE DATA PROCESSING | Seçmeli Ders Grubu | 4 | 7 | 5,00 |
Dersin Seviyesi
Lisans
Dersin Sunulduğu Dil
İngilizce
Dersin Amacı
Ders kapsamında toplu işleme, akış işleme ve bunların birleşik mimarilerine odaklanılarak yüksek performanslı veri işleme mimarilerinin kapsamlı bir şekilde incelenmesi hedeflenmektedir. Hadoop, Spark, Kafka ve Flink gibi endüstri standardı araçları kullanılarak teorik temellerin pratik uygulamalarla bütünleştirilmesi amaçlanmaktadır. Ders sonunda öğrencilerin dağıtık ortamlarda hata toleransı, tutarlılık ve ölçeklenebilirlik gibi ölçütlere dikkat ederek büyük ölçekteki verileri verimli bir şekilde işleyen yüksek performanslı veri hatları tasarlaması, geliştirmesi ve bunları eniyileştirmesi beklenmektedir.
Dersi Veren Öğretim Görevlisi/Görevlileri
Öğr. Gör. Dr. Burak YÖNYÜL
Öğrenme Çıktıları
| 1 | Veri-yoğun uygulamaların temel ilkelerini kavramak |
| 2 | Toplu ve akış işleme paradigmalarını gerçek dünya senaryoları üzerinde uygulamak |
| 3 | Yüksek performanslı ve dağıtık veri mimarileri tasarlamak ve eniyileştirmek |
| 4 | Gelişmiş çözümlemeler yapabilmek amacıyla uçtan uca veri hatları tasarlayabilmek ve gerçekleştirebilmek |
Öğretim Sistemi
Birinci Öğretim
Dersin Ön Koşulu Olan Dersler
Yok
Ders İçin Önerilen Diğer Hususlar
Yok
Dersin İçeriği
1. Veri Yoğun Uygulamaların Temelleri • Dağıtık veri sistemlerinde güvenilirlik, ölçeklenebilirlik ve sürdürülebilirlik. • Veri modellerinin kıyaslanması (ilişkisel, NoSQL, belge tabanlı, grafik tabanlı). 2. Toplu İşleme Mimarileri • Hadoop ve MapReduce'a Giriş. • Spark ile toplu iş akışlarının optimizasyonu (RDD'ler, DataFrames, MLlib) • Apache Airflow ve Oozie ile veri hattı orkestrasyonu. 3. Akış İşleme Mimarileri • Apache Kafka ile gerçek zamanlı olay odaklı işleme. • Apache Flink kullanarak durum bilgisi (stateful) akışı işleme (olay zamanı, pencereleme, hata toleransı). • Geciken (Late-arriving) verileri işleme, tutarlılık ve hata kurtarma. 4. Birleşik Toplu ve Akış Mimarileri • Hibrit veri işleme için Lambda ve Kappa mimarileri. • Kafka, Spark ve Flink'i entegre eden pratik uygulamalar. 5. Performans Optimizasyonu ve Gelişmiş Analizler • Sorgu optimizasyonu, indeksleme, bölümlendirme ve depolama verimliliği. • Spark MLlib ve GraphX ile ölçeklenebilir makine öğrenimi ve grafik işleme. • Netflix, LinkedIn ve Uber'den gerçek dünya vaka çalışmaları.
Haftalık Ayrıntılı Ders İçeriği
| Hafta | Konular (Teorik) | Öğretim Yöntem ve Teknikleri | Ön Hazırlık |
|---|---|---|---|
| 1 | Yüksek Performanslı Veri İşlemeye Giriş | Kaynak-1 | |
| 2 | Veri Modelleri ve Sorgu Dilleri | Kaynak-1 | |
| 3 | Dağıtık Sistemlerde Veri Depolama ve Veri Alımı | Kaynak-1 | |
| 4 | Hadoop ile Toplu İşlemeye Giriş | Kaynak-2 | |
| 5 | Apache Spark ile Gelişmiş Toplu İşleme | Kaynak-3 | |
| 6 | Veri Boru Hatları ve İş Akışı Orkestrasyonu | Kaynak-3 | |
| 7 | Apache Kafka ile Akış İşlemeye Giriş | Kaynak-4 | |
| 8 | Ara Sınav | ||
| 9 | Apache Flink ile Akış İşleme | Kaynak-5 | |
| 10 | Akış İşlemede Hata Toleransı ve Tutarlılık | Kaynak-4, 5 | |
| 11 | Lambda ve Kappa Mimarileri | Kaynak-1 | |
| 12 | Veri İşlemede Performansı Optimize Etme | Kaynak-3, 5 | |
| 13 | Yüksek Performanslı Veri İşlemede Durum Çalışmaları | Kaynak-3, 4, 5 | |
| 14 | Veri İşlemede İleri Konular | Kaynak-3 | |
| 15 | Ders Özeti ve Proje Sunumları / Kontrolü | Sunum ve Tartışma | |
| 16 | Final Sınavı |
Ders Kitabı / Malzemesi / Önerilen Kaynaklar
Ana Kaynak: 1. Kleppmann, Martin. Designing data-intensive applications: The big ideas behind reliable, scalable, and maintainable systems. " O'Reilly Media, Inc.", 2017. Yardımcı Kaynaklar: 2. White, Tom. "Hadoop: The Definitive Guide, Storage and Analysis at Internet Scale." White–London: O'Reill y Media(2015). 3. Ryza, Sandy, et al. Advanced analytics with spark: patterns for learning from data at scale. " O'Reilly Media, Inc.", 2017. 4. Narkhede, Neha, Gwen Shapira, and Todd Palino. Kafka: the definitive guide: real-time data and stream processing at scale. " O'Reilly Media, Inc.", 2017. 5. Hueske, Fabian, and Vasiliki Kalavri. Stream processing with Apache Flink: fundamentals, implementation, and operation of streaming applications. O'Reilly Media, 2019.
Planlanan Öğrenme Aktiviteleri ve Metodları
- Yarıyıl (Yıl) Ara Sınavının Başarı Notuna Katkısı : %30 - Dönem Projesi : %30 - Yarıyıl (Yıl) Sonu Sınavının Başarı Notuna Katkısı : %40 TOPLAM : %100
Değerlendirme
| Yarıyıl (Yıl) İçi Etkinlikleri | Adet | Değer |
|---|---|---|
| Ara Sınav | 1 | 50 |
| Proje Hazırlama | 1 | 50 |
| Toplam | 100 | |
| Yarıyıl (Yıl) Sonu Etkinlikleri | Adet | Değer |
| Final Sınavı | 1 | 100 |
| Toplam | 100 | |
| Yarıyıl (Yıl) İçi Etkinlikleri | 60 | |
| Yarıyıl (Yıl) Sonu Etkinlikleri | 40 | |
Staj Durumu
Yok
İş Yükü Hesaplaması
| Etkinlikler | Sayısı | Süresi (saat) | Toplam İş Yükü (saat) |
|---|---|---|---|
| Ara Sınav | 1 | 20 | 20 |
| Final Sınavı | 1 | 20 | 20 |
| Derse Katılım | 14 | 3 | 42 |
| Proje Hazırlama | 1 | 40 | 40 |
| Okuma | 14 | 2 | 28 |
| Toplam İş Yükü (saat) | 150 | ||
Program ve Öğrenme Çıktıları İlişkisi
| PÇ 1 | PÇ 2 | PÇ 3 | PÇ 4 | PÇ 5 | PÇ 6 | PÇ 7 | PÇ 8 | PÇ 9 | PÇ 10 | PÇ 11 | |
| ÖÇ 1 | 5 | 2 | |||||||||
| ÖÇ 2 | 5 | 3 | 4 | 4 | 3 | 3 | |||||
| ÖÇ 3 | 5 | 4 | 5 | 5 | 5 | 5 | 3 | 3 | 3 | ||
| ÖÇ 4 | 5 | 4 | 5 | 5 | 5 | 5 | 3 | 3 |
* Katkı Düzeyi : 1 Çok düşük 2 Düşük 3 Orta 4 Yüksek 5 Çok yüksek