Deniz

Yazılar

Toplam 12 yazı

Chicago'da Kaç Piyano Akortçusu Var? Fermi Problemleri ve Tahmin Sanatı

Elinizde hiçbir veri, ölçüm aracı ya da kaynak yokken devasa bir soruya nasıl makul bir cevap verilir? Enrico Fermi, tam da bunu yapabilmesiyle tanınıyordu. Bu yazı Fermi problemlerinin ne olduğunu, ünlü piyano akortçusu sorusunun adım adım nasıl çözüldüğünü, bu yöntemin neden şaşırtıcı derecede isabetli sonuçlar verdiğini ve Google'dan McKinsey'e mülakatlarda neden hâlâ sorulduğunu ele alıyor — sonunda da aynı yöntemi bir veri mühendisliği kapasite hesabına uyguluyor.

Fermi ProblemleriTahminProblem ÇözmeMülakatKapasite PlanlamaVeri Mühendisliği
Devamını oku →

Hangi Veri Nereye: Data Warehouse, Lakehouse ve Gerçek Zamanlı Analitik Store

Analitik verinin üç klasik adresi vardır: temiz ve modellenmiş Data Warehouse, ham dosyayla açık tabloyu aynı çatıda tutan Lakehouse, ve olay akışını saniye altında sorgulatan gerçek zamanlı analitik store (ClickHouse, Druid, Pinot, Azure Data Explorer). Bu yazı "hangi veri nereye?" sorusunu üçünün kimliği, karar sinyalleri, sınavların ve mimarların sevdiği tuzaklar ve gerçek dünyada üçünün bir arada nasıl aktığı üzerinden cevaplıyor.

Data WarehouseLakehouseGerçek Zamanlı AnalitikOLAPVeri MimarisiBig Data
Devamını oku →

Dil > Framework > Kütüphane: Doğru Ama Eksik Bir Hiyerarşi

Bu tanıdık sıralama kapsam açısından doğru, ama framework ile kütüphaneyi ayıran asıl çizgiyi — kontrolün kimde olduğunu — gizliyor. Bağımsız ve frameworke bağımlı kütüphaneler, "kütüphane yeter" ile "framework şart" arasındaki karar, bir aracı sormadan teşhis etmenin yolları ve Spark, Airflow, Kafka, dbt'nin bu tabloda hiç beklenmedik yeri.

FrameworkKütüphanePythonSparkVeri MühendisliğiBackend
Devamını oku →

SQL Neden "Esnek" Sayılmaz — ve Neden Doğru Soru "SQL mi, NoSQL mi" Değil?

ALTER TABLE ile bir kolon saniyeler içinde ekleniyorsa SQL'e neden "esnek değil" deniyor? Çünkü esneklik iki ayrı şeydir: kolon eklemenin mikro esnekliği ile milyarlarca satırı kesintisiz değiştirmenin, şemasız veri tutmanın ve yatay ölçeklenmenin mimari esnekliği. Bu yazı, SQL'in katılığının bir kusur değil bilinçli bir güvenlik tercihi olduğunu ve gerçek dünyanın cevabının ikisini aynı projede birleştirmek (polyglot persistence) olduğunu anlatıyor.

SQLNoSQLVeritabanıPolyglot PersistenceÖlçeklemeBackend
Devamını oku →

Aynı SELECT, Bambaşka Bir Motor: DataFrame Nedir, PySpark Neden Var?

spark.sql("SELECT ...") satırındaki SELECT, yıllardır Oracle'da ya da PostgreSQL'de yazdığınızla aynı — peki onu saran PySpark ne işe yarıyor? DataFrame kavramından pandas ile Spark DataFrame farkına, dönüşümü neden salt SQL ile yazmadığımızdan sektördeki SQL/PySpark dengesine; ve en önemlisi, aynı sözdiziminin altında motoru, verinin durduğu yeri ve ölçekleme modelini tamamen değiştiren ayrıma — klasik SQL refleksleriyle kurulan bir yazı.

DataFramePySparkSpark SQLSQLVeri MühendisliğiBackend
Devamını oku →

Neden Hiçbir Dağıtık Sistem "CA" Olamaz? Borsa, Instagram ve LoL ile CAP'ten PACELC'e

Binlerce sunucu aynı hissenin fiyatında nasıl anlaşır? Borsa, Instagram ve online oyunları yan yana koyarak CAP teoremini, kör noktasını ve yerini alan PACELC'i baştan kuruyoruz: ağ bölündüğünde neden C ile A'dan biri feda edilir, "sorun yokken sistem CA değil mi?" itirazı neden tutmaz, ışık hızı saf bir CA sistemi neden fiziksel olarak imkânsız kılar ve borsa neden quorum'la bile yetinmez?

Dağıtık SistemlerCAP TeoremiPACELCTutarlılıkConsensusBackend
Devamını oku →

Büyük Veri Nerede Başlar? Üç Yanılgı, Tek Ölçüt

Büyük veri ne "unstructured veri" demektir, ne "büyük şirketin verisi", ne de "real-time sistem". Peki yalnızca structured veriyle büyük veri olur mu? Vitrine çıkarılan veriyle arka planda asıl akan veri arasındaki fark ne? Real-time için büyük veri şart mı? Bu yazı üç yaygın yanılgıyı tek tek ele alıyor ve çizgiyi asıl çeken ölçütü — geleneksel araçlarla büyük veri araçlarını ayıran mimari farkı — baştan kuruyor.

Büyük VeriDağıtık SistemlerÖlçeklemeReal-TimeVeri MühendisliğiBackend
Devamını oku →

Merkezde Kimse Yok: Açık Kaynak Araçları Birbirini Nereden Tanıyor?

Her şeyi tek çatı altında toplayan Oracle dünyasından gelince, açık kaynak araçlarının birbirine lego gibi oturması şaşırtıcıdır. git PowerShell'de nasıl tanınıyor, pip install gerçekte ne yapıyor, Airflow ile Spark hangi sözleşme üzerinden konuşuyor? Ve asıl soru: bu düzeni kim yönetiyor? Merkezinde kimsenin olmadığı bir düzenin nasıl işlediğini adım adım kuran bir yazı.

Açık KaynakPATHCLIPythonEkosistemStandartlarBackend
Devamını oku →