Veri mühendisliği ve dağıtık sistemler üzerine notlar. Veri ambarlarından modern lakehouse mimarilerine; kaynaktaki veriyi analitik ve makine öğrenmesine taşıyan uçtan uca veri hatları üzerine yazıyorum.https://deniz-blog.vercel.app/trhttps://deniz-blog.vercel.app/blog/fermi-problemleri/https://deniz-blog.vercel.app/blog/fermi-problemleri/Elinizde hiçbir veri, ölçüm aracı ya da kaynak yokken devasa bir soruya nasıl makul bir cevap verilir? Enrico Fermi, tam da bunu yapabilmesiyle tanınıyordu. Bu yazı Fermi problemlerinin ne olduğunu, ünlü piyano akortçusu sorusunun adım adım nasıl çözüldüğünü, bu yöntemin neden şaşırtıcı derecede isabetli sonuçlar verdiğini ve Google'dan McKinsey'e mülakatlarda neden hâlâ sorulduğunu ele alıyor — sonunda da aynı yöntemi bir veri mühendisliği kapasite hesabına uyguluyor.Sun, 02 Aug 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/data-warehouse-lakehouse-realtime-store/https://deniz-blog.vercel.app/blog/data-warehouse-lakehouse-realtime-store/Analitik verinin üç klasik adresi vardır: temiz ve modellenmiş Data Warehouse, ham dosyayla açık tabloyu aynı çatıda tutan Lakehouse, ve olay akışını saniye altında sorgulatan gerçek zamanlı analitik store (ClickHouse, Druid, Pinot, Azure Data Explorer). Bu yazı "hangi veri nereye?" sorusunu üçünün kimliği, karar sinyalleri, sınavların ve mimarların sevdiği tuzaklar ve gerçek dünyada üçünün bir arada nasıl aktığı üzerinden cevaplıyor.Tue, 28 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/dil-framework-kutuphane-hiyerarsisi/https://deniz-blog.vercel.app/blog/dil-framework-kutuphane-hiyerarsisi/Bu tanıdık sıralama kapsam açısından doğru, ama framework ile kütüphaneyi ayıran asıl çizgiyi — kontrolün kimde olduğunu — gizliyor. Bağımsız ve frameworke bağımlı kütüphaneler, "kütüphane yeter" ile "framework şart" arasındaki karar, bir aracı sormadan teşhis etmenin yolları ve Spark, Airflow, Kafka, dbt'nin bu tabloda hiç beklenmedik yeri.Wed, 15 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/sql-neden-nosql-kadar-esnek-degil/https://deniz-blog.vercel.app/blog/sql-neden-nosql-kadar-esnek-degil/ALTER TABLE ile bir kolon saniyeler içinde ekleniyorsa SQL'e neden "esnek değil" deniyor? Çünkü esneklik iki ayrı şeydir: kolon eklemenin mikro esnekliği ile milyarlarca satırı kesintisiz değiştirmenin, şemasız veri tutmanın ve yatay ölçeklenmenin mimari esnekliği. Bu yazı, SQL'in katılığının bir kusur değil bilinçli bir güvenlik tercihi olduğunu ve gerçek dünyanın cevabının ikisini aynı projede birleştirmek (polyglot persistence) olduğunu anlatıyor.Tue, 14 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/dataframe-ve-sql-vs-pyspark-sql/https://deniz-blog.vercel.app/blog/dataframe-ve-sql-vs-pyspark-sql/spark.sql("SELECT ...") satırındaki SELECT, yıllardır Oracle'da ya da PostgreSQL'de yazdığınızla aynı — peki onu saran PySpark ne işe yarıyor? DataFrame kavramından pandas ile Spark DataFrame farkına, dönüşümü neden salt SQL ile yazmadığımızdan sektördeki SQL/PySpark dengesine; ve en önemlisi, aynı sözdiziminin altında motoru, verinin durduğu yeri ve ölçekleme modelini tamamen değiştiren ayrıma — klasik SQL refleksleriyle kurulan bir yazı.Sun, 12 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/neden-hicbir-dagitik-sistem-ca-olamaz/https://deniz-blog.vercel.app/blog/neden-hicbir-dagitik-sistem-ca-olamaz/Binlerce sunucu aynı hissenin fiyatında nasıl anlaşır? Borsa, Instagram ve online oyunları yan yana koyarak CAP teoremini, kör noktasını ve yerini alan PACELC'i baştan kuruyoruz: ağ bölündüğünde neden C ile A'dan biri feda edilir, "sorun yokken sistem CA değil mi?" itirazı neden tutmaz, ışık hızı saf bir CA sistemi neden fiziksel olarak imkânsız kılar ve borsa neden quorum'la bile yetinmez?Sat, 11 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/bir-veri-ne-zaman-buyuk-veri-olur/https://deniz-blog.vercel.app/blog/bir-veri-ne-zaman-buyuk-veri-olur/Büyük veri ne "unstructured veri" demektir, ne "büyük şirketin verisi", ne de "real-time sistem". Peki yalnızca structured veriyle büyük veri olur mu? Vitrine çıkarılan veriyle arka planda asıl akan veri arasındaki fark ne? Real-time için büyük veri şart mı? Bu yazı üç yaygın yanılgıyı tek tek ele alıyor ve çizgiyi asıl çeken ölçütü — geleneksel araçlarla büyük veri araçlarını ayıran mimari farkı — baştan kuruyor.Thu, 09 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/acik-kaynak-ekosistemi-kim-yonetiyor/https://deniz-blog.vercel.app/blog/acik-kaynak-ekosistemi-kim-yonetiyor/Her şeyi tek çatı altında toplayan Oracle dünyasından gelince, açık kaynak araçlarının birbirine lego gibi oturması şaşırtıcıdır. git PowerShell'de nasıl tanınıyor, pip install gerçekte ne yapıyor, Airflow ile Spark hangi sözleşme üzerinden konuşuyor? Ve asıl soru: bu düzeni kim yönetiyor? Merkezinde kimsenin olmadığı bir düzenin nasıl işlediğini adım adım kuran bir yazı.Mon, 06 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/kafka-broker-nedir/https://deniz-blog.vercel.app/blog/kafka-broker-nedir/Kafka serisinin dördüncü yazısı: broker gerçekte ne iş yapar? Topic bir tablonun karşılığı mı, controller seçimi zorunlu mu, Raft konsensüs nasıl işler, 5 broker = 5 instance ne anlama gelir ve lokaldeki portlar prod'da nasıl gerçek sunuculara dönüşür? Broker kavramı, Oracle'ın client-server dünyasından gelen biri için sıfırdan kuruluyor.Sun, 05 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/kafka-partition-offset-siralama/https://deniz-blog.vercel.app/blog/kafka-partition-offset-siralama/Kafka serisinin ikinci yazısı: bir mesajın hangi partition'a düşeceğini belirleyen hash mekanizması, partition sayısını baştan doğru seçmenin önemi, hot key riski, offset'in gerçekte neyi garanti edip neyi etmediği ve retention — Kafka neden bir queue değil, dağıtık bir commit log?Fri, 03 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/kafka-partitioner-cesitleri/https://deniz-blog.vercel.app/blog/kafka-partitioner-cesitleri/Kafka serisinin üçüncü yazısı: bir mesajın hangi partition'a düşeceğine karar veren partitioner. Hash-based, round-robin, sticky ve custom stratejiler; her seçimin sıralama garantisine ödettiği bedel ve üretim ortamlarındaki gerçek kullanım oranları.Fri, 03 Jul 2026 00:00:00 GMThttps://deniz-blog.vercel.app/blog/kafka-cluster-mimarisi/https://deniz-blog.vercel.app/blog/kafka-cluster-mimarisi/Üç broker'lı bir cluster üzerinden Kafka'nın iç işleyişi: veri broker'lara nasıl dağılır, leader ve replica ne işe yarar, metadata'yı ZooKeeper'dan devralan KRaft neyi değiştirdi, CDC araçları kaynaktaki değişimi nasıl yakalar? (Kafka serisi — 1. yazı)Thu, 02 Jul 2026 00:00:00 GMT