Veri bilimci mülakat soruları (21 soru ve ipucu)

Yeni bir öneri bileşeni için A/B testini nasıl tasarlardınız?

İpucu: Hipotezi, birincil ve koruma metriklerini, rastgeleleştirme birimini, örneklem büyüklüğünü ve süreyi anlat.

Müşteri kaybı modelinizin doğruluğu %95. Bu neden yanıltıcı olabilir?

İpucu: Sınıf dengesizliğini ve burada precision, recall ya da maliyete göre ağırlıklandırılmış metriklerin neden önemli olduğunu açıkla.

Veri sızıntısı nedir ve bunu nasıl yakaladınız?

İpucu: Sonuçtan sonra kaydedilen bir özellik gibi somut bir örnek ver ve bunu nasıl fark ettiğini anlat.

Bir modelin tahminini bir kredi uzmanına ya da bir doktora nasıl açıklardınız?

İpucu: Özelliklerin katkısını sade bir dille anlat ve belirsizlik konusunda dürüst ol.

Bir dolandırıcılık tespit modeli için precision ile recall arasında nasıl seçim yaparsınız?

İpucu: Bunu, kaçırılan bir dolandırıcılığın maliyeti ile engellenen meşru bir müşterinin maliyeti arasındaki farka bağla.

Bir modeli kullanıcı grupları arasında adaletsiz sonuçlar açısından nasıl kontrol edersiniz?

İpucu: Hata oranlarını gruplara göre karşılaştırmaktan, farkların arkasındaki veriden ve ödünleşime kimin karar verdiğinden bahset.

Bir deneyin ne kadar süre çalışacağına nasıl karar verirsiniz?

İpucu: İstatistiksel güç analizinden, haftalık mevsimsellikten ve süreye önceden bağlı kalmaktan bahset.

İşinizi başkalarının yeniden üretebilmesi için nasıl belgeler ve paylaşırsınız?

İpucu: Sürüm kontrolünden, sabitlenmiş rastgele tohumlardan (seed), verinin sabitlenmiş kopyalarından (snapshot) ve kısa bir yazılı özetten bahset.

Kurduğunuz ve canlıya çıkan bir modeli anlatır mısınız? İş üzerindeki etkisi ne oldu?

İpucu: Desteklediği kararı, temel modeli ve mümkünse bir kontrol grubuyla ölçülen etkiyi söyle.

Basit bir modelin karmaşık bir modeli geçtiği bir durumu anlatın.

İpucu: Metrikteki küçük bir kazançtan çok yorumlanabilirliğe, hıza ve bakıma değer verdiğini göster.

Analizinizin ya da modelinizin yanlış çıktığı bir anı anlatır mısınız?

İpucu: Hatayı sahiplen, kök nedeni ve eklediğin doğrulama adımını anlat.

Bir modeli canlıya almak için mühendislerle nasıl çalıştığınızı anlatın.

İpucu: Yalnızca notebook'u değil, gecikmeyi, izlemeyi ve devri de düşündüğünü göster.

Paydaşları verilere dayanarak yön değiştirmeye ikna ettiğiniz bir anı anlatır mısınız?

İpucu: Kanıtı, onu onların hedeflerine göre nasıl çerçevelediğini ve ne karar verdiklerini göster.

Bir deney anlamlı bir artış gösteriyor ama ürün yöneticisi buna şüpheyle bakıyor. Nasıl karşılık verirsiniz?

İpucu: Sonucu savunmadan önce örneklem oranı uyumsuzluğunu, yenilik etkisini ve segmentler arası tutarlılığı kontrol et.

Modelinizin performansı yayına alındıktan üç ay sonra düşüyor. Neleri araştırırsınız?

İpucu: Girdi verisindeki değişiklikleri, etiket kaymalarını, veri akışı hatalarını ve kullanıcı davranışının değişip değişmediğini kontrol et.

Yönetim, bir kuralla çözülebilecek bir sorun için makine öğrenmesi çözümü istiyor. Ne dersiniz?

İpucu: Kuralı temel çözüm olarak öner ve bir modelin ek maliyete ne zaman değeceğini tanımla.

Yeni bir veri setinden değer çıkarmak için iki haftanız var. İşi nasıl planlarsınız?

İpucu: Dar bir soruyla kapsamı belirle, hızlıca bir temel model kur ve ara bulguları erkenden paylaş.

Bir proje için gereken veri henüz yoksa ne yapardınız?

İpucu: Ödünleşimleriyle birlikte ölçüm altyapısı eklemeyi, bir vekil metrik ya da küçük çaplı manuel etiketlemeyi öner.

Neden özellikle bizim şirketimizde veri bilimiyle ilgileniyorsunuz?

İpucu: Verilerinin ilginç kıldığı bir soruna ve ona uygulamak istediğin bir beceriye değin.

Sizi en çok hangi tür veri problemleri heyecanlandırıyor?

İpucu: Deney tasarımı ya da tahminleme gibi bir alan seç ve yakın zamandan bir örnek ver.

Kendinizi araştırmaya, mühendisliğe ya da liderliğe doğru ilerlerken mi görüyorsunuz?

İpucu: Yön konusunda dürüst ol ve oraya ilerlemek için şu an ne yaptığını anlat.