# IST5109 - Hafta 3 laboratuvari
# Kuyrugun payi ve siklik yarginin sonraki yillarda korunmasi
#
# --- On hazirlik ---
# Asagidaki blok veriyi okuyup govdenin nesnelerini kurar; laboratuvarin
# kendisi "# Gorev A" satirindan sonra baslar ve oradan itibaren notun
# sayfasindaki chunk'larla birebir aynidir.

gerekli_paketler <- c("readr", "MASS")
eksik_paketler <- gerekli_paketler[
  !vapply(gerekli_paketler, requireNamespace, quietly = TRUE, FUN.VALUE = logical(1))
]
if (length(eksik_paketler) > 0) {
  stop(
    "Eksik paket(ler): ", paste(eksik_paketler, collapse = ", "),
    ". install.packages() ile kurunuz.", call. = FALSE
  )
}

library(readr)

course_file <- function(filename) {
  candidates <- c(
    file.path("data", "derived", filename),
    file.path("..", "data", "derived", filename)
  )
  hit <- candidates[file.exists(candidates)]
  if (length(hit) == 0) {
    stop("Veri dosyası bulunamadı: ", filename,
         ". Proje kökünden veya ders/ klasöründen çalıştırın.")
  }
  hit[[1]]
}

assert_columns <- function(data, gerekli, label) {
  eksik <- setdiff(gerekli, names(data))
  if (length(eksik) > 0) {
    stop(label, " dosyasında eksik sütun(lar): ",
         paste(eksik, collapse = ", "))
  }
}

veri <- read_csv(course_file("danishuni.csv"), show_col_types = FALSE)
assert_columns(veri, "loss", "danishuni.csv")
hasar <- veri$loss
x <- hasar
stopifnot(length(x) >= 20L, all(is.finite(x)), all(x > 0))

# Govdenin %99 kuantili (ust_sinir): Gorev A bunu kullanir.
ust_sinir <- unname(quantile(x, 0.99))

# Govdenin siklik verisi ve sifir sisik Poisson olabilirligi: Gorev B bunlari
# kullanir. Ikisi de notun govdesindekilerle aynidir.
sayim_verisi <- read_csv(course_file("claims_long.csv"), show_col_types = FALSE)
assert_columns(sayim_verisi,
               c("policy_id", "agecat", "valuecat", "period", "numclaims", "claim"),
               "claims_long.csv")
zip_log_olabilirlik <- function(p, y) {
  pi0 <- plogis(p[1])
  lambda <- exp(p[2])
  olasilik <- ifelse(y == 0, pi0 + (1 - pi0) * exp(-lambda),
                     (1 - pi0) * dpois(y, lambda))
  sum(log(olasilik))
}

# Gorev A - Kuyrugun payi: ust sinirin otesinde ne var? ----------------------
kuyruk <- x[x > ust_sinir]

print(round(sort(kuyruk), 2))

kuyruk_payi <- c(
  gozlem_sayisi     = length(kuyruk),
  gozlem_payi_yuzde = 100 * length(kuyruk) / length(x),
  tutar_payi_yuzde  = 100 * sum(kuyruk) / sum(x)
)

print(round(kuyruk_payi, 2))

kirpma_etkisi <- c(
  ortalama_tumu   = mean(x),
  ortalama_kirpik = mean(x[x <= ust_sinir]),
  medyan_tumu     = median(x),
  medyan_kirpik   = median(x[x <= ust_sinir])
)

print(round(kirpma_etkisi, 4))


# Gorev B - Baska yillar: sikliktaki yargi korunuyor mu? ---------------------
yil_ozeti <- t(sapply(1:3, function(yil) {
  y <- sayim_verisi$numclaims[sayim_verisi$period == yil]
  c(yil = yil, ortalama = mean(y), varyans = var(y), oran = var(y) / mean(y),
    sifir_payi = mean(y == 0))
}))
print(round(yil_ozeti, 4))

yil_modelleri <- t(sapply(1:3, function(yil) {
  y <- sayim_verisi$numclaims[sayim_verisi$period == yil]
  negbin <- MASS::glm.nb(y ~ 1)
  zip <- optim(c(0, 0), zip_log_olabilirlik, y = y, method = "BFGS",
               control = list(fnscale = -1))
  c(yil = yil, theta = negbin$theta, theta_se = negbin$SE.theta,
    aic_poisson = AIC(glm(y ~ 1, family = poisson())),
    aic_negbin = AIC(negbin), aic_zip = 2 * 2 - 2 * zip$value,
    yayilim = summary(glm(y ~ 1, family = quasipoisson()))$dispersion)
}))
print(round(yil_modelleri, 4))

stopifnot(
  identical(sayim_verisi$policy_id[sayim_verisi$period == 1],
            sayim_verisi$policy_id[sayim_verisi$period == 2]),
  identical(sayim_verisi$policy_id[sayim_verisi$period == 1],
            sayim_verisi$policy_id[sayim_verisi$period == 3])
)
yil_matrisi <- sapply(1:3, function(yil) {
  sayim_verisi$numclaims[sayim_verisi$period == yil]
})
colnames(yil_matrisi) <- paste0("yil_", 1:3)
print(head(yil_matrisi))

yil_farki <- yil_matrisi[, "yil_3"] - yil_matrisi[, "yil_1"]
print(summary(yil_farki))

fark_ozeti <- c(
  ortalama_fark = mean(yil_farki),
  se_bagimsiz = sqrt(var(yil_matrisi[, "yil_1"]) / nrow(yil_matrisi) +
                       var(yil_matrisi[, "yil_3"]) / nrow(yil_matrisi)),
  se_eslestirilmis = sd(yil_farki) / sqrt(length(yil_farki))
)
print(round(fark_ozeti, 5))

print(round(cor(yil_matrisi), 3))

kalicilik <- tapply(
  yil_matrisi[, "yil_3"],
  ifelse(yil_matrisi[, "yil_1"] > 0, "ilk_yil_hasarli", "ilk_yil_hasarsiz"),
  mean
)
print(round(kalicilik, 3))

havuz_se <- c(
  satir_bazinda = sd(sayim_verisi$numclaims) / sqrt(nrow(sayim_verisi)),
  police_bazinda = sd(rowMeans(yil_matrisi)) / sqrt(nrow(yil_matrisi))
)
print(round(havuz_se, 5))
