Yapay Zekaya Giriş: Bilgisayımın Temelleri

Bu sunum, Uzay Çetin tarafından Sarıyer Akademi ile birlikte katıldığımız, 11-12 Kasım, 2017 tarihlerinde MEF Üniversitesi’nde gerçekleştirilen “Eğitimde Gelecek Konferansı”nda kullanılmak üzere hazırlanmıştır.

Bilgisayımı Gerçekten Öğrenmek İstiyor musunuz?

Bilgisayımın temelleri kodlama ve matematiktir.

Kodlama ve matematik bilgisi olmadan yapay zekayı kullanmamız, bu bilim dalına yön vermemiz mümkün değildir. Liseden itibaren öğrencilerimize bu bakış açısını kazandırmamız gerekmektedir. İki bölümden oluşacak olan sunumda, ilk bölümde kodlama ve simülasyonun önemi dinleyicilere aktarılacak. İkinci bölümde ise kalkülüs, doğrusal cebir ve istatistik bilgisinin nasıl yapay zekanın temellerini oluşturduğundan bahsedilecektir. Bu sunumun hedefi, bilim yapmanın üçüncü yolu olarak nitelendirilen simülasyonun ve bilimlerin anası olarak kabul gören matematiğin ne işe yaradığını tekrar vurgulamaktır.

Gereken Programlar: R (RStudio) ve NetLogo dilleri sunum sırasınca kullanılacaktır. Aktif olarak katılmak isteyen dinleyicilerin bilgisayarlarında bu programlama dillerinin bulunması faydalı olacaktır.

Bilgisayar, Yapay Zeka, Karmaşık Sistemler

Bilgisayar mühendisliğinin temelinde yatan algoritmik yaklaşıma göre,

tarif edebildiğimiz her şeyi programlayabiliriz. Peki ya tarif edemediğimiz şeyler?

Karmaşık sistemler bilim dalının temellerinde yatan ana fikir,

“bütün, parçaların toplamından daha fazladır” ilkesidir.

Bu parçalarda bulunmayan bir özelliğin, bütünde zuhur edebileceğini ifade eder.

Örneğin tek başına bir karınca zeki değildir, ama bir bütün halinde koloni en kısa yol problemini çözerbilecek zeka belirtisi gösterir.

Yapay öğrenmenin başarısının arkasında ise “bol miktardaki örneklerden hatayı minimize eden hipotezi bulmak” yatar.

Bu sayede, elimizdeki örnek veriler ve tahminimiz arasındaki hatayı minimize ederek, algoritmasını yazamadığımız, tarifini bilemediğimiz fakat kolayca yapabildiğimiz yüz tanıma, karakter tanıma gibi işleri bilgisayarlara yaptırabiliriz.

Bu çalışma, yapay zeka ve karmaşık sistemler bilim dallarının bir arada ele alınması gerektiğini ve yapay zekaya dair çalışmaların geleceğinde, karmaşık sistemlerin büyük bir rol üstleneceğini iddia eder.

Evrene Bakış Açısı

Seth Lloyd 2005 yılında basılmış, Programming the Universe adlı kitabında söyle söylüyor,

Evrendeki her atom, her parçacık bilgi kaydeder. Bu parçacıklar arasındaki her bir çarpışma, ne kadar küçük olursa olsun, meydana gelen her bir değişim sistematik bir biçimde o bilginin işlenmesidir.

Buradaki iki kritik nokta, bilgi kaydı ve bilginin işlenmesidir. Bilindiği üzere bunlar modern programlamanın temel unsurlarıdır.

Demek ki, sadece bilgisayarlar bilgi depolayan ve o bilgiyi işleyen aygıtlar değildir. Evrenin kendisi de, baştan sona bilgi işleyen devasa bir sistemdir.

Venüs-sinekkapan Bitkisi

Bigisayım Örneği Venüs bitkisi, beyni olmamasına rağmen, sayım yapıyor ve şartlar sağlandığında harekete geçiyor.

Bilgi İşlem

• Durum: Açık ya da Kapalı
• Kural:
  • 1 kez dokunduysa hazırlan
  • 20 sn içinde 2. kez dokunduysa kapan

Meksika Dalgası

Zuhur Örneği

Parçalarda olmayan bir şey (dalga), bütünde ortaya çıkıyor.

Bilgi İşlem

• Durum: Ayakta ya da Oturmuş
• Kural:
  • Yakın komşu ayakta ise, ayağa kalk
  • ayakta ise, bir süre sonra otur

En Kısa Yolu Bulan Karıncalar

Zuhur Örneği

Parçalarda olmayan bir şey (zeka), bütünde ortaya çıkıyor.

Bu resim Goss ve arkadaşlarının 1989 yılındaki Naturwissemschaften makalesinden alınmıştır. (a) Deney tasarımı (b) 4 dakika sonra köprü üzerindeki karıncalar (a) 8 dakika sonra en kısa yol üzerinde yoğunlaşmış karıncalar.

Bilgi İşlem

• Durum: Yemek-Ara ya da Yemek-Bulundu
• Kural:
  • Yemek-Ara ise kokunun yoğun olduğu tarafa git
  • Yemek-Bulundu ise koku bırak

Ekosistem

Öz örgütlenim

Doğa değişen duruma göre kendini yeniden programlıyor.

Ekosistemi oluşturan canlılar arasındaki karmaşık bağlantılar bir çırpıda bilgi işlemi yazmayı zorlaştırıyor. Burada ilginç olan bir çok nokta var, şimdilik her şeyi diğer her şeye olan bağlantısını vurgulamakla yetinelim. Yellowstone parkına, getirilen kurtlar geyik nüfusunu azaltıyor, orman ve bitki örtüsü yeniden canlanıyor, erozyon azalıyor, nehir yatakları güçleniyor ve parkın fiziki coğrafyası değişiyor. Bir kaç kurtun bunu yapabileceğini kim tahmin ederdi?

Ekosistem

Algoritma

Algoritmalar, bilgisayar biliminin yapı taşıdır. Belirli bir problemin nasıl çözüleceğine dair izlenmesi gereken adımların tümüne algoritma deriz. Çözüm yolunu düşünürüz, ve bu düşüncemizi koda dönüştürürüz.

Algoritmalar kodun içerisine gömülmüş düşüncelerdir

Tarif edebilidiğimiz her şeyin programını yazabiliriz. Bir işi tarif edebilmek, o işin algoritmasını bilmek demektir. Örneğin, menemen yapmayı biliyorsanız, bana yemeğin algoritmasını yani tarifini verebilirsiniz.

Bilgisayar bilimindeki en önemli algoritmaların başında sıralama algoritmaları gelir. Google sizce arama motoru mudur, yoksa sıralama motoru mudur?

# Ekle-sırala algoritması
1.Döngü: i = 0'dan N'ye, her i için, # i'yi Ekle
    2.Döngü: j = i'den 1'e, her j için, 
        j.inci eleman, bir öncekiden küçükse, # i'yi Sırala
            ikisinin yerini değiştir
            j'yi bir azalt
        değilse
            2.Döngüden çık
    i'yi bir arttır

Yukarıda ekle-sırala algoritmasını aşağıda görüyorsunuz. İlk bakışta karışık gelebilir ama aslında oldukça basittir.

Şöyle düşünün, masadaki desteden kart seçiyorsunuz. İlk kartı sıralamaya gerek yok. İkinci kartı, ilkiyle karşılaştırıp küçükse sola koyarsınız. Bu şekilde, masadan aldığını yeni kartı elinize ekle rsiniz ve sonra sırala rsınız.

Aşağıdaki videoda, folklor grubu ekle-sırala algoritmasına göre dans ediyor. Bu videoya bakınca, ne demek istediğimi daha iyi anlayabilirsiniz.

Aşağıdaki videoda, karganın uyguladığı algoritmayı görebiliyor musunuz?

Algortima , yemek yapmaktan dans etmeye her şey algoritmadır. Bir işin nasıl gerçekleştirileceğini anlatan sıralı komutlar.

Hatırlatmalar

• Bilim yapmanın 3 yolu
• Bilgisayım , sinek-kapan’dan kara deliklere, oradan K-means algoritmasına
• Model , önemli olanları tut, önemsiz olanları görmezden gel. Karikatür, haritalar vb..
• Algortima , yemek yapmaktan dans etmeye her şey algoritmadır. Bir işin nasıl gerçekleştirileceğini anlatan sıralı komutlar.

• Programlama nın temelelleri

  • Eğer .. değilse ..
  • Döngüler, tekrarlar
  • Fonksiyonlar, ismi olan küçük program parçaları

Netlogo ve Karmaşık Sistemler

Aşağıdaki komutları Netlogoda yazarsak ne olur?

Forward 50
Right 90
Forward 50
Right 90
Forward 50
Right 90
Forward 50
Right 90

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
to setup
  clear-all                  ;; her seyi sil
  create-turtles 1[
    set heading -30          ;; ilk yonu belirle
    setxy (5 - max-pxcor) 0  ;; ilk konum
  ]
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
to ciz                      ;; kaplumbagalardan rica et
  ask turtles [polygon-ciz]
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
to polygon-ciz                 ;; yeni fonksiyon (prosedur)
   pen-down                    ;; kalem cizim icin gerekli
   repeat kenar-sayisi[        ;; Dongu
    forward uzunluk            ;; Ilerle
    right (360 / kenar-sayisi) ;; Saga Don
   ]
end

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
globals [venus.x venus.y]
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
to setup
  ca
  crt 5 [
    set xcor random-xcor
    set ycor random-ycor
    set shape "bug"
    set size 1.5
  ]
  set venus.x random-pxcor
  set venus.y random-pycor
  venus-flytraps 1
  reset-ticks
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
to go
  ask turtles [
    set heading towardsxy venus.x venus.y
    set heading (heading + 15 - random 30)
    wait 0.025
    fd 0.5
  ]

  let bocek.dokundu? false
  ask turtles[
    if distancexy venus.x venus.y < 0.5 [
      show "bocek dokundu"
    ]
  ]

  tick
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;;; venus-fltrap : Etcil Cicek Simulasvenusyonu
;;
;; >> prosedurler (fonksovenus.yonlar) kodumuzu organize etmemize venus.yardimci olurlar.
;; >>
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; istedigim kadar etcil cicek yaratabiliyorum
;; parametere : tane
to venus-flytraps [tane]
  repeat tane[venus-flytrap ]
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; Etcil cicekin merkez noktasi venus.x venus.y
to venus-flytrap
  venus-ac venus.x venus.y
  wait 0.125          ;; 0.125 sn bekle
  venus-kapa venus.x venus.y
  wait 0.25           ;; 0.25 sn bekle
  venus-ac venus.x venus.y
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; Belli uzakliktaki parselleri (patch) venus.yesil venus.yap, merkez kirmizi
;; >> Asagidaki iki komutun sirasi degirse ne olur?
;; >> Kodun organizasyonu cok onemlidir.
to venus-ac [x y]
  ask patches with [distancexy venus.x venus.y < 2.3] [ set pcolor green ]
  ask patch x y [set pcolor red]
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; Belli uzakliktaki parselleri (patch) yesil yap, merkez kirmizi olsun
to venus-kapa [x y]
  ;; yesil olan uc kisimlari, tekrar siyah yapiyoruz
  ask patches with [distancexy venus.x venus.y < 2.3] [ set pcolor black ]
  ask patches with [distancexy venus.x venus.y < 2.1] [ set pcolor green ]
  ask patches with [distancexy venus.x venus.y < 2.0] [ set pcolor orange ]
  ask patch x y [set pcolor red]
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;

Deneyin ne oluyor? go fonksiyonun içini aşağıdaki gibi yazın.

  ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
to go
  ask turtles [
    set heading towardsxy venus.x venus.y
    set heading (heading + 15 - random 30)
    wait 0.025
    fd 0.5
  ]

  let bocek.dokundu? false
  ask turtles[
    if distancexy venus.x venus.y < 0.5 [
      venus-kapa venus.x venus.y
      set size 3
      set bocek.dokundu? true
      repeat 4[
        wait 0.1
        set size random 4
      ]
      die
    ]
  ]

  if bocek.dokundu? [
    venus-kapa venus.x venus.y
    wait 0.5           ;; 0.25 sn bekle
    venus-ac venus.x venus.y
  ]
  tick
end

Kodu biraz geliştirelim.

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
breed[sinek-kapanlar sinek-kapan]
breed[sinekler sinek]
sinek-kapanlar-own[bocek.dokundu?]
sinekler-own[hiz]
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
to setup
  ca
  ask patches [set pcolor black]
  create-sinekler sinek-sayisi [
    set xcor random-xcor
    set ycor random-ycor
    set shape "bug"

    set hiz 0.2 + random-float 1
    set size 1.5;;2 - 2 * (hiz - 0.2) ;; hiz buyukluk ile ters orantili olsun

    ifelse xcor < 0 [set color cyan][set color violet]
    if xcor < (- max-pxcor / 2) [set color sky]
    if xcor >  (max-pxcor / 2) [set color pink]
  ]

  create-sinek-kapanlar kapan-sayisi[
    set xcor round random-xcor
    set ycor round random-ycor
    set color red
    set bocek.dokundu? false
  ]

  ask sinek-kapanlar [
    venus-ac xcor ycor
  ]
  reset-ticks
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
to go
  ask sinekler [
    let en-yakin-kapan min-one-of sinek-kapanlar [ distance myself ]
    set heading towards en-yakin-kapan
    set heading (heading + 15 - random 30)
    fd hiz
  ]

  ask sinek-kapanlar [
    if not any? sinekler [stop]
    let en-yakin-sinek min-one-of sinekler [ distance myself ]
    ifelse distance en-yakin-sinek < 1 [
      set bocek.dokundu? true
      ask en-yakin-sinek [die]
    ][set bocek.dokundu? false]
    ifelse bocek.dokundu? [venus-kapa xcor ycor][venus-ac xcor ycor]
  ]

  if not any? sinekler [
    ask sinek-kapanlar [venus-ac xcor ycor]
    stop]
  tick
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;


;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; Belli uzakliktaki parselleri (patch) venus.yesil venus.yap, merkez kirmizi
;; >> Asagidaki iki komutun sirasi degirse ne olur?
;; >> Kodun organizasyonu cok onemlidir.
to venus-ac [x y]
  ask patches with [distancexy x y < 2.3] [ set pcolor green ]
  ask patch x y [set pcolor red]
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; Belli uzakliktaki parselleri (patch) yesil yap, merkez kirmizi olsun
to venus-kapa [x y]
  ;; yesil olan uc kisimlari, tekrar siyah yapiyoruz
  ask patches with [distancexy x y < 2.3] [ set pcolor black ]
  ask patches with [distancexy x y < 2.1] [ set pcolor green ]
  ask patches with [distancexy x y < 1.8] [ set pcolor orange ]
  ask patch x y [set pcolor red]
end
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;

Basit bir etçil çiçek simülasyonunun nasıl bir karadelik simülasyonuna benzediğine ya da nasıl k-means gibi bir kümeleme algortimasına benzediğine dikkat edin.

Aşırıya kaçmamak şartıyla, belirli bir dozda hayal gücü olmadan bilim yapılamaz.

R dili ve Yapay Öğrenmeye Giriş

Programlamanın yapı taşı kontrol ifadeleridir.

• Eğer .. yap değilse .. yap
• if .. yap else .. yap

b <- 0
b <- ifelse(b==0, 1, 0)
print(paste("b = ", b))

[1] "b =  1"

R dilinin yapı taşı ise vektörlerdir.

# b vektorunde hangileri bir
b <- c(1,1,0,0,0)
which (b == 1)

[1] 1 2

# matris oluturalim
satir1 <- b
satir2 <- 1 - b
matris <- rbind(satir1, satir2) # satirlari birlestir
matris

       [,1] [,2] [,3] [,4] [,5]
satir1    1    1    0    0    0
satir2    0    0    1    1    1

Otomasyon, sıkıcı işlerin tekrarıdır.

for(i in b) print(ifelse(i==0, "yazi", "tura"))

[1] "tura"
[1] "tura"
[1] "yazi"
[1] "yazi"
[1] "yazi"

Fonksiyonlar, kodunuzu organize etmenizi sağlar.

topla <- function(a,b){return (a + b)}
topla(2,4)

[1] 6

Newton Matematiği

x = seq(-1, 10, by = 0.1)  # x Degerleri
y = x^2 + 15               # y = x^2 + 15 parabolü
#
plot(x, y, type = "l", col = 1, ylim = c(0,100),
     main = expression(paste("y =",x^2, "+ 15 fonksiyonu ve x=5 noktasındaki türev")), xaxt="n")
lines(x, 10 * x - 10, col = "blue")

#
abline(v = 5, col = "gray")
segments(5, 40, 8, 40, col= 'red')

segments(8, 40, 8, 70, col= 'red')
segments(8, 70, 8, 80, col= 'red', lwd = 3)

#
segments(7, 40, 7, 60, col= 'red')
segments(7, 60, 7, 64, col= 'red', lwd = 3)

text(6.1, 73, 'Hata', col= 'red')
arrows(6.5, 73, 7.95, 74,length = 0.08, col= 'red')

arrows(6.5, 73, 6.95, 61.5,length = 0.08, col= 'red')
text(6.5, 35, expression(paste(Delta, x)), col= 'red')

text(8.5, 60, expression(paste(Delta, y)), col= 'red')
text(2, 90, expression(paste('Tegetin egimi ', Delta, x, ' kuculdukce')), col= 'blue')

text(2.08, 83, expression(paste('hata azalarak ', Delta, y, '/', Delta, x, ' yaklasir. ')), col= 'red')
axis(1, at = seq(-1, 10, by = 1), las=2)

grid()

\(y = x^2 + 15\) fonksiyonu y ler farkı bölü x ler farkı gittikçe, \(y = 5\) noktasındaki teğete benzemeye başlıyor,

\[ \frac{\triangle y}{\triangle x} = \frac{y_2 - y_1}{y_2 - y_1} \]

Türev

Herhangi bir niceliğin, belirli bir anda ne kadar hızlı büyüdüğünü ya da küçüldüğünü ölçer. \[ \frac{dx}{dt} \]

Tekrarlı fonksiyonlar

\[ x_{n+1} = f(x_n)\]

tekrarli fonksiyonunu R ile çizelim.

\[ s_{n+1} = f(s_n) = s_n + \frac{1}{2^{n+1} }\]

islem <- function(s,n){return (s +(1/2^n))}
s <- 1
print(s)

[1] 1

s <- islem(s,1)
print(s)

[1] 1.5

s <- islem(s,2)
print(s)

[1] 1.75

s <- islem(s,3)
print(s)

[1] 1.875

Sürekli tek tek yazmak yerine, bunu bir for donüsü içinde yazalım.

t = 2:10
s = 1
print(s)

[1] 1

for(i in t){
  s <- islem(s,i)
  print(s)
}

[1] 1.25
[1] 1.375
[1] 1.4375
[1] 1.46875
[1] 1.484375
[1] 1.492188
[1] 1.496094
[1] 1.498047
[1] 1.499023

son = 20
t = 1:son
s = rep(1,son)
for(i in t[-son]){
  s[i+1] <- islem(s[i],i)
}
plot(t,s,col = "red", type ='b')
grid()

\(e_{n+1} = f(e_n) = e_n + \frac{1}{(n+1)!}\)

e.islem <- function(e,n){return (e +(1/factorial(n+1)))}
son = 20
t = 1:son
e = rep(1,son)
for(i in t[-son]){
  e[i+1] <- e.islem(e[i],i)
}
plot(t,e,col = "violet", type ='b', ylim = c(0,3),
     main = "2  ile 3 arasindaki bu sayi nedir?")
grid()

Dereceli Inis

\(f(x)\) fonksiyonun minimum noktasini

\[ x_1 = x_1 - \alpha f'(x) \]

x = seq(-20,20,0.2)
f <- function(x){x^2 + 5}
f.turev <- function(x){2*x}
dereceli.inis <- function(x1 = 10, adim.uzunluk = 0.25){
  for(i in 1:20){
    x1 <- x1 - adim.uzunluk * f.turev(x1)
    print(x1)
  }
  return(x1)
}
plot(x,f(x), type = 'l')
print(dereceli.inis())

[1] 5
[1] 2.5
[1] 1.25
[1] 0.625
[1] 0.3125
[1] 0.15625
[1] 0.078125
[1] 0.0390625
[1] 0.01953125
[1] 0.009765625
[1] 0.004882812
[1] 0.002441406
[1] 0.001220703
[1] 0.0006103516
[1] 0.0003051758
[1] 0.0001525879
[1] 7.629395e-05
[1] 3.814697e-05
[1] 1.907349e-05
[1] 9.536743e-06
[1] 9.536743e-06

grid()

################################################
# Veri hazirligi : Uc tur Cicek verisi
################################################
data_df <- as.data.frame(iris)
# iki tur cicekle ilgilenelim
tur <- data_df$Species %in% c("virginica", "setosa")
data_df <- data_df[tur,]
# 1: "virginica" ve 0: "setosa" olsun
y <- ifelse(data_df$Species=="virginica", 1, 0)
# 4 boyut (ozellik) yerine 2 boyut ozellik ile ilgilenelim => cizim kolayligi 
X <- data_df[c(1,3)]
X <- as.matrix(X) # X <- as.matrix(X/max(X))
# Verimizin ilk 6 degerlerine goz atalim
head(X)

  Sepal.Length Petal.Length
1          5.1          1.4
2          4.9          1.4
3          4.7          1.3
4          4.6          1.5
5          5.0          1.4
6          5.4          1.7

head(y)

[1] 0 0 0 0 0 0

plot(X, col = y + 1)
grid()

# theta0 icin ilk kolon 1 yapildi
X = cbind(rep(1, length(y)), X)
################################################
# Siniflandirma: 
#         Cicek "virginica" mi "setosa" mi?
#         petal-length, sepal-length verisine bakarak 
#         karar verecegiz
################################################

Modelimizi yazalım

\(\sigma(z) = \frac{1}{1 + e ^{-z}}\) ve \(x_0 = 1\), \(x_1 = sepal.length\), \(x_2 = petal.length\) olmak üzere, modelimiz ya da hipotezimiz aşağıdaki gibidir,

\[ h_\theta(x) = \sigma (\theta \cdot x) = \sigma (\theta_0 x_0 + \theta_1 x_1 + \theta_2 x_2) \] Amacımız hipotezimiz \(h_\theta\) ile gerçek çıktı olan \(y\) arasındaki farkı en az indirecek \(\theta_0\), \(\theta_1\), \(\theta_2\) değerlerini bulmaktır. Diğer bir ifadeyle,

\[ Hata(\theta) = \frac{1}{2}\sum (y - h_\theta(x))^2 \]

Bunun için eğim iniş yöntemini kullanacağız. Hatanın türevini hesaplamamız gerekiyor. \[ \frac{d Hata(\theta)}{d\theta_i} = \sum - (y - h_\theta(x)) \frac{d h_\theta(x)}{d\theta_i} \]

Demek ki, zincir kuralı gereği hipotezimin türevini hesaplamamız gerekiyor.

\[\begin{equation} \begin{split} \frac{d h_\theta(x)}{d\theta_i} &=& \frac{d \sigma (\theta \cdot x)}{d\theta_i} \\ &=& \sigma (\theta \cdot x) (1 - \sigma (\theta \cdot x)) \frac{d (\theta_0 x_0 + \theta_1 x_1 + \theta_2 x_2)}{d\theta_i} \\ &=& \sigma (\theta \cdot x) (1 - \sigma (\theta \cdot x)) x_i\\ &=& h_\theta(x) (1 - h_\theta(x)) x_i\\ \end{split} \end{equation}\]

Tüm bu matematiksel denklemleri bir araya getirip, hatamızın türevini hesaplayalım

\[ \frac{d Hata(\theta)}{d\theta_i} = \sum (h_\theta(x) - y) h_\theta(x) (1 - h_\theta(x)) x_i \]

Dereceli İniş

Hata fonksiyonun minimum noktasını elde etmek için adım adım aşağıdaki gibi ilerleyeceğiz.

\[ \theta_i = \theta_i - \alpha \frac{d Hata(\theta)}{d\theta_i} \] Sigmoid fonksiyonun dünya gözüyle bir görelim.

sigmoid <- function(z){
  return (1 / (1 + exp(-z)))
}
z = -10:10
plot(z, sigmoid(z), type="b")

dogru <- function(x, th){
  return(x %*% th)
}

hipotez <- function(x, th){
  z = dogru(x,th)
  return(sigmoid(z))
}

th = c(0.1, 0.1, 0.1)
z = X %*% th
h = sigmoid(z)
hata = sum((y - h) *  (y - h))
adim = 0.1 # alfa adim uzunlugu
for(i in 1:3){
  gradyan = sum((h-y) * h * (1-h) * X[,i])
  th[i] = th[i] - adim * gradyan
}
print(hata)

[1] 25.29043

print(th)

[1] -0.461235965 -2.443539080 -0.004985982

iterasyon <- function(X = X, y = y, th, adim = 0.5){
  z = X %*% th
  h = sigmoid(z)
  hata = sum((y - h) *  (y - h))
  for(i in 1:3){
    gradyan = mean((h-y) * h * (1-h) * X[,i])
    th[i] = th[i] - adim * gradyan
  }
  return(list(th = th , hata = hata))
}

#Intial theta
th <- rep(0,ncol(X))
simulasyon = iterasyon(X, y , th)
th = simulasyon$th
print(simulasyon)

$th
[1] 0.0000000 0.0494375 0.1278125

$hata
[1] 25

#Intial theta
th <- rep(0,ncol(X))
hata <- function(th){
  z = X %*% th
  h = sigmoid(z)
  return(sum((y - h) *  (y - h)))
}
# Derive theta using gradient descent using optim function
theta_optim <- optim(par=th,fn=hata)
#set theta
theta <- theta_optim$par
#cost at optimal value of the theta
theta_optim$par

[1] -22.59136 -12.75926  27.93210

th = c(-1,-1,1)
for(i in 1:10000){
  simulasyon = iterasyon(X, y , th, adim = 5)
  th = simulasyon$th
}
print(simulasyon)

$th
[1] -1.607568 -2.174644  4.154802

$hata
[1] 0.0009260814

#th = theta_optim$par
plot(X[,2], X[,3], col = y + 1)
model = -1 * (th[1] + th[2] * X[,2]) / th[3]
lines(X[,2],model)

grid()

Sentetik Veri

Dogrusal Sınıflandırma yöntemini kullanarak, sentetik bir veriyi iki sınıfa ayıralım.

n = 50
merkez1 = 5
kume1.x1 = rnorm(n, mean = merkez1, sd=3)
kume1.x2  = rnorm(n, mean = merkez1, sd=3)
kume1.y = rep(0,n)
merkez2 = 20
kume2.x1 = rnorm(n, mean = merkez2, sd=3)
kume2.x2  = rnorm(n, mean = merkez2, sd=3)
kume2.y = rep(0,n)
plot(kume1.x1,kume1.x2,col= "red", type = "p", xlim = c(0,30), ylim = c(0,30))
lines(kume2.x1,kume2.x2,col= "green", type = "p")

grid()

VX = cbind(rep(1,2*n),
          c(kume1.x1, kume2.x1),
          c(kume1.x2, kume2.x2))
Vy = c(rep(0,n),rep(1,n))
  
th = c(-1,-1,1)
for(i in 1:10000){
  simulasyon = iterasyon(VX, Vy , th, adim = 1)
  th = simulasyon$th
}
print(simulasyon)

$th
[1] -8.4350207  0.4008360  0.3172988

$hata
[1] 0.04096217

#th = theta_optim$par
plot(VX[,2], VX[,3], col = Vy + 2, xlim = c(0,30), ylim = c(0,30))
model = -1 * (th[1] + th[2] * VX[,2]) / th[3]
lines(VX[,2],model)

grid()

Dogrusal Baglanim

Dogrusal Baglanim

El yazısı ile yazılmış sayıları tanıma

Hatalar