# IST5109 - Hafta 2 laboratuvari: eksik veri mekanizmalari ve atama
# Veri: data/derived/auto_bi.csv (insuranceData::AutoBi, bedeni zarar hasarlari).
# Bu betik internet baglantisi olmadan, dersin sabit veri kopyasiyla calisir.
#
# Gerekli paketler: readr, dplyr, tidyr, janitor, mice. Kurulu degilse bir kez
# install.packages(c("readr", "dplyr", "tidyr", "janitor", "mice")) ile kurun.
#
# Buradaki Gorev A-E kodu, ders notundaki "R Laboratuvari" bolumuyle BIREBIR
# AYNIDIR. Fark yalnizca sudur: notta kendiliginden yazdirilan ifadeler burada
# print() ile sarilmistir, cunku source() print.eval = FALSE ile calisir.

gerekli_paketler <- c("readr", "dplyr", "tidyr", "janitor", "mice")
.eksik <- gerekli_paketler[!vapply(gerekli_paketler, requireNamespace,
                                   logical(1), quietly = TRUE)]
if (length(.eksik) > 0) {
  stop("Eksik paket(ler): ", paste(.eksik, collapse = ", "),
       ". install.packages() ile kurunuz.")
}

library(readr)
library(dplyr)
library(tidyr)
library(janitor)

course_file <- function(filename) {
  candidates <- c(file.path("data", "derived", filename),
                  file.path("..", "data", "derived", filename))
  hit <- candidates[file.exists(candidates)]
  if (length(hit) == 0) {
    stop("Veri dosyasi bulunamadi: ", filename,
         ". Proje kokunden veya ders/ klasorunden calistirin.")
  }
  hit[[1]]
}

bi_yolu <- course_file("auto_bi.csv")

# Gorev A - Yeni bir dosyayi tanimak -----------------------------------------
bi <- read_csv(bi_yolu, show_col_types = FALSE)
glimpse(bi)

bi_eksiklik <- bi |>
  summarise(across(everything(), ~ sum(is.na(.x)))) |>
  pivot_longer(cols = everything(), names_to = "degisken", values_to = "eksik_sayi") |>
  mutate(oran = round(100 * eksik_sayi / nrow(bi), 2)) |>
  arrange(desc(eksik_sayi))

print(bi_eksiklik)

bi_tamlik <- c(
  satir = nrow(bi),
  tam_vaka = sum(complete.cases(bi)),
  eksik_tasiyan = sum(!complete.cases(bi)),
  yuzde = round(100 * mean(!complete.cases(bi)), 1)
)

print(bi_tamlik)


# Gorev B - Mekanizma icin kanit topla ---------------------------------------
eksik_yas_avukat <- bi |>
  group_by(attorney) |>
  summarise(kayit = n(), eksik_yas_orani = round(100 * mean(is.na(clmage)), 1),
            .groups = "drop")

print(eksik_yas_avukat)

eksik_yas_cinsiyet <- bi |>
  mutate(cinsiyet_eksik = is.na(clmsex)) |>
  group_by(cinsiyet_eksik) |>
  summarise(kayit = n(), eksik_yas_orani = round(100 * mean(is.na(clmage)), 1),
            .groups = "drop")

print(eksik_yas_cinsiyet)

eksik_yas_ceyrek <- bi |>
  mutate(kayip_ceyregi = ntile(loss, 4)) |>
  group_by(kayip_ceyregi) |>
  summarise(kayit = n(), eksik_yas_orani = round(100 * mean(is.na(clmage)), 1),
            .groups = "drop")

print(eksik_yas_ceyrek)

bi_gozlenen <- bi |>
  transmute(
    avukat         = attorney,
    cinsiyet       = clmsex,
    medeni_durum   = marital,
    sigortasiz     = clminsur,
    kemer          = seatbelt,
    kayip_ceyregi  = ntile(loss, 4),
    cinsiyet_eksik = is.na(clmsex)
  )

print(head(bi_gozlenen))

bi_bagimsizlik_testi <- function(eksik_sutun, gozlenen_sutun) {
  tablo <- table(bi_gozlenen[[gozlenen_sutun]], is.na(bi[[eksik_sutun]]))
  test  <- chisq.test(tablo, simulate.p.value = TRUE, B = 10000)
  tibble(
    eksik    = eksik_sutun,
    gozlenen = gozlenen_sutun,
    kayit    = sum(tablo),
    ki_kare  = test$statistic,
    p        = test$p.value,
    cramer_v = sqrt(test$statistic / sum(tablo))
  )
}

set.seed(5115)
bi_bagimsizlik <- bind_rows(
  bi_bagimsizlik_testi("clmage", "avukat"),
  bi_bagimsizlik_testi("clmage", "cinsiyet"),
  bi_bagimsizlik_testi("clmage", "medeni_durum"),
  bi_bagimsizlik_testi("clmage", "sigortasiz"),
  bi_bagimsizlik_testi("clmage", "kemer"),
  bi_bagimsizlik_testi("clmage", "kayip_ceyregi"),
  bi_bagimsizlik_testi("clmage", "cinsiyet_eksik")
)

print(bi_bagimsizlik)

set.seed(5121)
bi_kategorik_bagimsizlik <- bind_rows(
  bi_bagimsizlik_testi("clmsex", "avukat"),
  bi_bagimsizlik_testi("clmsex", "kayip_ceyregi"),
  bi_bagimsizlik_testi("marital", "avukat"),
  bi_bagimsizlik_testi("marital", "kayip_ceyregi"),
  bi_bagimsizlik_testi("clminsur", "avukat"),
  bi_bagimsizlik_testi("clminsur", "kayip_ceyregi"),
  bi_bagimsizlik_testi("seatbelt", "avukat"),
  bi_bagimsizlik_testi("seatbelt", "kayip_ceyregi")
)

print(bi_kategorik_bagimsizlik)


# Gorev C - Yontemleri sirayla uygula ve karsilastir -------------------------
bi_dolu <- bi |>
  group_by(attorney) |>
  mutate(grup_ici_ortalama = ifelse(is.na(clmage),
                                    mean(clmage, na.rm = TRUE), clmage),
         .after = clmage) |>
  ungroup() |>
  mutate(
    silme = clmage,
    ortalama_atamasi = ifelse(is.na(clmage), mean(clmage, na.rm = TRUE), clmage),
    medyan_atamasi = ifelse(is.na(clmage), median(clmage, na.rm = TRUE), clmage)
  )

print(bi_dolu |>
  select(attorney, clmage, silme,
         ortalama_atamasi, medyan_atamasi, grup_ici_ortalama))

bi_ozet <- function(x) {
  x <- x[!is.na(x)]
  c(n = length(x), ortalama = mean(x), std_sapma = sd(x), std_hata = sd(x) / sqrt(length(x)))
}

bi_karsilastirma <- rbind(
  silme = bi_ozet(bi_dolu$silme),
  ortalama_atamasi = bi_ozet(bi_dolu$ortalama_atamasi),
  medyan_atamasi = bi_ozet(bi_dolu$medyan_atamasi),
  grup_ici_ortalama = bi_ozet(bi_dolu$grup_ici_ortalama)
)
print(round(bi_karsilastirma, 4))

mod_etkisi <- function(x) {
  sayim <- table(x)
  mod <- as.integer(names(sayim)[which.max(sayim)])
  c(eksik = sum(is.na(x)),
    mod = mod,
    once = 100 * max(sayim) / sum(sayim),
    sonra = 100 * max(table(ifelse(is.na(x), mod, x))) / length(x))
}

mod_karsilastirma <- round(rbind(seatbelt = mod_etkisi(bi$seatbelt),
                                 marital = mod_etkisi(bi$marital)), 2)

print(mod_karsilastirma)


# Gorev D - `mice` ile coklu atama -------------------------------------------
bi_atama_verisi <- bi |>
  mutate(across(c("attorney", "clmsex", "marital", "clminsur", "seatbelt"), factor))

print(bi_atama_verisi)

bi_kalip <- mice::make.predictorMatrix(bi_atama_verisi)
bi_kalip[, "casenum"] <- 0
bi_kalip["casenum", ] <- 0

print(bi_kalip)

bi_imp <- mice::mice(bi_atama_verisi, m = 5, maxit = 5, method = "pmm",
                     predictorMatrix = bi_kalip, seed = 5109, printFlag = FALSE)

print(bi_imp$method)

bi_havuz <- summary(mice::pool(with(bi_imp, lm(clmage ~ 1))))

print(bi_havuz)

bi_havuz_ozeti <- round(c(
  mice_ortalama = bi_havuz$estimate[1],
  mice_std_hata = bi_havuz$std.error[1],
  tam_vaka_std_hata = sd(bi$clmage, na.rm = TRUE) / sqrt(sum(!is.na(bi$clmage)))
), 4)

print(bi_havuz_ozeti)

print(packageVersion("mice"))

bi_dolu_mice <- bi_dolu |>
  mutate(
    mice_1 = mice::complete(bi_imp, 1)$clmage,
    mice_2 = mice::complete(bi_imp, 2)$clmage,
    mice_3 = mice::complete(bi_imp, 3)$clmage,
    mice_4 = mice::complete(bi_imp, 4)$clmage,
    mice_5 = mice::complete(bi_imp, 5)$clmage
  )

print(bi_dolu_mice |>
  filter(is.na(clmage)) |>
  select(attorney, grup_ici_ortalama, mice_1:mice_5))

bi_farkli_deger <- bi_dolu_mice |>
  filter(is.na(clmage)) |>
  summarise(across(c(ortalama_atamasi, medyan_atamasi, grup_ici_ortalama, mice_1:mice_5),
                   n_distinct)) |>
  pivot_longer(everything(), names_to = "yontem", values_to = "farkli_deger")

print(bi_farkli_deger)

bi_tek_sonuc <- rbind(
  havuzlama        = c(ortalama = bi_havuz$estimate[1], std_hata = bi_havuz$std.error[1]),
  hucre_ortalamasi = bi_ozet(rowMeans(bi_dolu_mice[paste0("mice_", 1:5)]))[c("ortalama", "std_hata")]
)
print(round(bi_tek_sonuc, 4))

bi_kalip_iki <- bi_kalip
bi_kalip_iki["clmage", ] <- 0
bi_kalip_iki["clmage", c("attorney", "loss")] <- 1

print(bi_kalip_iki)

bi_imp_iki <- mice::mice(bi_atama_verisi, m = 5, maxit = 5, method = "pmm",
                         predictorMatrix = bi_kalip_iki, seed = 5109, printFlag = FALSE)

print(bi_imp_iki$predictorMatrix["clmage", ])

bi_atama_verisi_log <- bi_atama_verisi |>
  mutate(log_kayip = log(loss)) |>
  select(-loss)

print(bi_atama_verisi_log)

bi_kalip_log <- mice::make.predictorMatrix(bi_atama_verisi_log)
bi_kalip_log[, "casenum"] <- 0
bi_kalip_log["casenum", ] <- 0
bi_kalip_log["clmage", ] <- 0
bi_kalip_log["clmage", c("attorney", "log_kayip")] <- 1

print(bi_kalip_log)

bi_imp_log <- mice::mice(bi_atama_verisi_log, m = 5, maxit = 5, method = "pmm",
                         predictorMatrix = bi_kalip_log, seed = 5109, printFlag = FALSE)

print(bi_imp_log$predictorMatrix["clmage", ])

bi_havuzla <- function(imp) {
  h <- mice::pool(with(imp, lm(clmage ~ 1)))$pooled
  c(ortalama = h$estimate, std_hata = sqrt(h$t), b = h$b)
}

bi_yordayici_karsilastirma <- rbind(
  butun_sutunlar = bi_havuzla(bi_imp),
  avukat_kayip = bi_havuzla(bi_imp_iki),
  avukat_log_kayip = bi_havuzla(bi_imp_log)
)
print(round(bi_yordayici_karsilastirma, 4))

bi_r2 <- c(
  avukat_kayip = summary(lm(clmage ~ attorney + loss, data = bi_atama_verisi))$r.squared,
  avukat_log_kayip = summary(lm(clmage ~ attorney + log_kayip, data = bi_atama_verisi_log))$r.squared,
  butun_sutunlar = summary(lm(clmage ~ attorney + clmsex + marital + clminsur + seatbelt + loss,
                              data = bi_atama_verisi))$r.squared
)
print(round(bi_r2, 4))

bi_tek_tablo <- mice::complete(mice::mice(bi_atama_verisi, m = 1, maxit = 5, method = "pmm",
                                          predictorMatrix = bi_kalip, seed = 5126, printFlag = FALSE))

print(round(bi_ozet(bi_tek_tablo$clmage), 4))

set.seed(5127)
bi_bootstrap_ortalamalar <- sapply(1:100, function(b) {
  ornek <- bi_atama_verisi[sample(nrow(bi_atama_verisi), replace = TRUE), ]
  doldurulmus <- mice::complete(mice::mice(ornek, m = 1, maxit = 5, method = "pmm",
                                           predictorMatrix = bi_kalip, printFlag = FALSE))
  mean(doldurulmus$clmage)
})

print(round(head(bi_bootstrap_ortalamalar, 10), 3))

bi_tek_deger <- rbind(
  tek_tablo_kendi_hatasi = c(ortalama = mean(bi_tek_tablo$clmage),
                             std_hata = bi_ozet(bi_tek_tablo$clmage)[["std_hata"]]),
  tek_tablo_bootstrap    = c(ortalama = mean(bi_tek_tablo$clmage),
                             std_hata = sd(bi_bootstrap_ortalamalar)),
  mice_havuzlama         = c(ortalama = bi_havuz$estimate[1], std_hata = bi_havuz$std.error[1])
)
print(round(bi_tek_deger, 4))


# Gorev E - Kimlik ve yinelenme ----------------------------------------------
bi_profil <- setdiff(names(bi), "casenum")

print(bi_profil)

bi_yinelenme <- c(
  satir = nrow(bi),
  benzersiz_kimlik = length(unique(bi$casenum)),
  yinelenen_satir = sum(duplicated(bi)),
  yinelenen_kimlik = sum(duplicated(bi$casenum)),
  yinelenen_profil = sum(duplicated(bi[bi_profil]))
)

print(bi_yinelenme)


# Gorev F - Kararlari uygula -------------------------------------------------
bi_kategorik_tam <- bi |>
  filter(!is.na(clmsex), !is.na(marital), !is.na(clminsur), !is.na(seatbelt))

print(bi_kategorik_tam)

bi_analiz_atama_verisi <- bi_kategorik_tam |>
  mutate(across(c("attorney", "clmsex", "marital", "clminsur", "seatbelt"), factor))

print(bi_analiz_atama_verisi)

bi_analiz_atama <- mice::mice(bi_analiz_atama_verisi, m = 1, maxit = 5, method = "pmm",
                              predictorMatrix = bi_kalip, seed = 5122, printFlag = FALSE)

print(bi_analiz_atama$method)

bi_analiz_yas_dolu <- bi_kategorik_tam |>
  mutate(atanan_yas = mice::complete(bi_analiz_atama)$clmage)

print(bi_analiz_yas_dolu |>
  filter(is.na(clmage)) |>
  select(casenum, attorney, clmage, atanan_yas))

bi_denetim <- function(veri) {
  c(satir = nrow(veri),
    eksik = sum(is.na(veri)),
    gecersiz_kayip = sum(veri$loss <= 0),
    yinelenen_satir = sum(duplicated(veri)),
    yinelenen_kimlik = sum(duplicated(veri$casenum)),
    yinelenen_profil = sum(duplicated(veri[bi_profil])))
}

print(bi_denetim(mice::complete(bi_analiz_atama)))

bi_analiz <- mice::complete(bi_analiz_atama)

print(head(bi_analiz))


# Gorev G - Tek tabloyla analiz ve bootstrap ---------------------------------
bi_model <- lm(loss ~ clmage + attorney, data = bi_analiz)
print(round(summary(bi_model)$coefficients, 4))

bi_istatistikleri <- function(tablo) {
  model <- lm(loss ~ clmage + attorney, data = tablo)
  c(yas_katsayisi    = coef(model)[["clmage"]],
    avukat_katsayisi = coef(model)[["attorney2"]],
    pay_18_alti      = 100 * mean(tablo$clmage < 18))
}

bi_tahmin <- bi_istatistikleri(bi_analiz)
print(round(bi_tahmin, 4))

set.seed(5129)
bi_bootstrap <- t(sapply(1:100, function(b) {
  ornek <- bi_kategorik_tam[sample(nrow(bi_kategorik_tam), replace = TRUE), ]
  veri <- ornek |>
    mutate(across(c("attorney", "clmsex", "marital", "clminsur", "seatbelt"), factor))
  doldurulmus <- mice::complete(mice::mice(veri, m = 1, maxit = 5, method = "pmm",
                                           predictorMatrix = bi_kalip, printFlag = FALSE))
  bi_istatistikleri(doldurulmus)
}))

print(round(head(bi_bootstrap), 4))

bi_rapor <- cbind(
  tahmin     = bi_tahmin,
  std_hata   = apply(bi_bootstrap, 2, sd),
  yuzde_2_5  = apply(bi_bootstrap, 2, quantile, 0.025),
  yuzde_97_5 = apply(bi_bootstrap, 2, quantile, 0.975)
)
print(round(bi_rapor, 4))
