#  CAS 10                                                              22.12.2017.


# 1. Osobine koeficijenta korelcije; kovarijacija


# Primjer: X~N(0,1), Y=2X+1~N(1,4)  

# Ocekujemo da ro_x,y bude 1 jer postoji linearna zavisnost.

x <- rnorm(1000)
y <- 2 * x + 1
cor(x, y)
plot(x, y) # ocekivano ro=1

x <- rnorm(1000)
y <- -2 * x + 1
cor(x, y)
plot(x, y) # ocekivano ro=-1


# 2. Tablice 

# 3. Slucajni vektori u neprekidnom slucaju

# 3.1 Neka su X i Y nezavisne slucajne velicine sa U(0,1) raspodjelom.
# Izracunati i ocijeniti sledece uslovne vjerovatnoce:

# a) P{max(X,Y)<1/2|0<X+Y<1}
# b) P{X^2+Y^2<1/4|0<X+Y<1}

# a) Treba primijetiti da je dogadjaj max(X,Y)<1/2 podskup dogadjaja u uslovu

zadatak.a <- function() {
  x <- runif(10000) # na ovaj nacin generisemo nezavisne x i y
  y <- runif(10000)
  
  sum(pmax(x, y) < 1 / 2) / sum(x + y < 1)
  
  
}
# teorijski: 1/2
zadatak.b <- function() {
  x <- runif(10000)
  y <- runif(10000)
  
  sum(x ^ 2 + y ^ 2 < 1 / 4) / sum(x + y < 1)
  
}
# teorijski: pi/8


# Uslovne raspodjele 


# 3.2 Neka X~Exp(1) raspodjelu. 
# a) Naci gustinu slucajne velicine X|X>1.
# b) Naci gustinu slucajne velicine X|1<X<10


# Marginalne gustine 


# 3.3 Slucajan vektor (X,Y) ima uniformnu raspodjelu na trouglu sa tjemenima
# (0,0),(0,1) i (1,0). Odrediti f_X|Y=y : uslovnu gustine slucajne velicine X
# pri uslovu Y=y.


# 3.4 X~EXp(a), dok je Y = a/b *X, b > 0. Naci zakon raspodjele slucajne
# velicine Y, kao i vektora (X, Y).


# Nezavisnost


# 3.5 Data je funkcija raspodjele slucajnog vektora:

# F(x,y)=1-1/2^x-1/2^y+1/2^(x+y), za x>=0, y>=0, inace je 0.

# a) Odrediti gustinu f(x,y).

# b) Naci marginalne raspodjele za X i Y.

# c) Ispitati da li su X i Y nezavisne.



# 3.6 (Domaci) X~Exp(1), Y~ U(0,1) i nezavisne su. Naci gustinu za Z=X+Y.



# 3.7 X i Y imaju Exp(1)  raspodjelu. Naci raspodjelu za Z=|X-Y|.


#### Importance sampling ####

# "Uzorkovanje po znacajnosti" je tehnika uz pomocu koje se smanjuje disperzija 
# greske nastale prilikom ocjene srednje vrijednosti Monte Karlo metodom. 
# Klasicna metoda za ocjenjivanje srednje vrijednosti E(g(X)) za neku realnu 
# funkciju g i slucajnu velicinu X, iz uzorka (X1,...,Xn) bila bi: 
# 1/n(g(X1)+...+g(Xn)). Kako su neke vrijednosti slucajne velicine X znacajnije 
# za parametar koji se ocjenjuje, u ovom slucaju E(g(x)), ideja je da se
# pronadje raspodjela koja ce takvim vrijednostima da dodjeli najvece
# vjerovatnoce i da se preko takve raspodjele ocijeni trazeni parametar.
# Ispostavlja se da ce se time sto ce se "znacajnije' vrijednosti pojavljivati
# cesce u uzorku, smanjiti disperzija ocjene.

# Ova tehnika je osnovana na nekim rezultatima o ekvivalentnosti ocekivanja, o 
# cemu govori sledeca teorema:

# (T)
# 1.Neka je X diskretna slucajna velicina i g neka realna funkcija. Neka je Y
# neka druga slucajna velicina takva da vazi P{Y=x}>0, kad god je P{X=x}>0. 
# Oznacimo  p_X(x)=P{X=x}. Tada:
#             E(g(X)) = E[p_X(Y) / p_Y(Y) * g(Y)] 

# 2.Neka je X aps. neprekidna slucajna velicina i g neka realna funkcija. Neka 
# je Y neka druga slucajna velicina takva da vazi f_Y(x)>0, kad god je f_X(x)>0.
# Tada:
#            E(g(X)) = E[f_X(Y) / f_Y(Y) * g(Y)]

# Na osnovu ove teoreme E(g(X)) mozemo da ocijenimo srednjom vrijednoscu iz nekog
# drugog uzorka Y, tj.
#     1/n [ p_X(Y1) / p_Y(Y1) * g(Y1) + ... + p_X(Yn) / p_Y(Yn) * g(Yn) ]
# ili 1/n [ f_X(Y1) / f_Y(Y1) * g(Y1) + ... + f_X(Yn) / f_Y(Yn) * g(Yn) ]
# Treba naci raspodjelu za Y koja ce odgovarati pomenutoj ideji.


# Zadatak: Neka je X~N(0,1) i g(x)=10 * exp(-5*(x-3)^4). Ocijeniti srednju
# vrijednost E(g(X)) klasinom Monte Karlo metodom i metodom Importance Sampling.

# Resenje: Funckija g(x) dostize svoj maksimum u tacki x=3 i potom naglo opada 
# ka nuli za sve xeve manje i vece od 3. S druge strane, gustina normalne
# raspodjele u tacki x=3 je veoma blizu nuli. Dakle, ako budemo ocjenjivali
# ocekivanje od g(X) standardnom Monte Karlo metodom, imacemo veliki broj
# vrijednosti iz uzorka za koje ce g(x) biti skoro 0, a mali broj vrijednosti za
# koje ce ona biti razlicita od nule sto za rezultat ima veliku disperziju
# ocjene.

n<-10000
g<-function(x){
  exp(-5*(x-3)^4)
}

x <- rnorm(n)      # uzorak iz N(0,1)
mk<-mean(g(x))     # Monte Karlo ocjena srednje vrijednosti
d1<-1/n*var(g(x))  # disperzija ocjene mk
sd1<-sqrt(d1)      # standardno odstupanje ocjene mk

# Kako se maksimum fje g(x) postize u tacki x=3, za y uzimamo normalnu
# raspodjelu sa ocekivanjem 3, sto je ujedno i moda te raspodjele (vrijednost sa
# najvecom vjerovatnocom), pa odgovara ideji za importance sampling

y<-rnorm(n, mean = 3)
is<-mean(dnorm(y,0,1)/dnorm(y,3,1)*g(y))
d2<-1/n*var(dnorm(y,0,1)/dnorm(y,3,1)*g(y))
sd2<-sqrt(d2)

# Poredimo standardna odstupanja ove dvije ocjene:

sd1-sd2