CRR Senfoni Orkestrası’nın konserine yapay zekâ resimlerle eşlik etti

İkinci bölümde ise ilk kez izlediğim bir deneyim yaşadık, bunu da Atakan Kızıltan’a borçluyuz. Galatasaray Lisesi, Üniversitesi ve Sorbonne iktisat mezunu Kızıltan, İTÜ’de de big data yüksek lisansı yapmış. Halen veri ile yapay zekâ modellemeleri yapıyor. Müzikten iktisata ne ara geçtik derseniz anlatıyorum. Atakan bu bilgi ve yetilerini müzikle birleştiriyor. Orkestrayı dinlerken arkadaki ekranda da bir görsel şov izliyoruz. Nasıl ve niye olduğunu kendisinden dinleyelim:

• Böyle bir çalışma yapmaya nasıl karar verdiniz?

Üniversiteden beri veri ve veri bilimiyle ilgileniyorum. Hepimizin her daim hayatında olan veriyi sanatla birleştirme fikri felsefeye olan merakımdan ortaya çıktı. Sanat felsefesi ve estetik üzerine yaptığım okumalar sonucunda sanatın tanımını yaparken yeni sorular sorulması gerektiğini hissettim. Tüm çalışmalarım bir soruyla başladı: “Yapay zekâ sanat yapabilir mi?”

İlk çalışmalarımda beni etkileyen filozof ve düşüncelerini verilerle oluşturduğum resimlerle tasvir ettim. Bu tasvirleri ve hikâyelerini Beylikdüzü Atatürk Kültür Merkezi’nde “Datoptikon” isimli kişisel sergimde sergiledim. Amerikalı ressam Jean-Michel Basquiat’nın eserlerini incelerken Basquiat’nın net ve baskın tarzını yapay zekâya öğretmeye çalıştım. Yapay zekânın resimlerle neler yapabildiğini gördükten sonra  bir senfoni orkestrasının arkasında müziğin hissettirdiği görsellere uyumlu resimler çizen ve bu resimleri müziğe uyumlu bir şekilde değiştiren bir algoritma hayal ettim ve bunun üzerine çalıştım. Yaptığım çalışmaları ve hayalimi CRR Sanat Yönetmeni ve orkestra şefi Murat Cem Orhan ile paylaştım. Kendisinin sanata olan tutkusu ve yeniliğe açık fikirleriyle birlikte M. Mussorgsky’nin “Bir Sergiden Tablolar” eserini yapay zekânın ellerine bıraktık.

EĞİTMESİ GÜNLER SÜRÜYOR

•  Resim seçimi ve depolama ne kadar sürdü?

Resimleri Mussorgsky’nin eserindeki parçalara uygun olarak seçtim. Örneğin eserdeki “Bydlo” parçasında öküzlerin çektiği kağnıyı tasvir edebilmek için ressamlarca çizilmiş on binlerce hayvan resimlerini seçtim. Aynı şekilde Mussorgsky’nin Samuel ve Schmuyle’nin hikâyesini anlattığı parçada daha önceden çizilmiş insan portreleri seçtim. Yapay zekâyı, yazdığım algoritmayla her parça için ayrı ayrı seçilen resimlerle eğittim. Günler süren eğitim sürecinden sonra on binlerce hayvan resimleriyle eğitilen yapay zekâ daha önce hiçbir yerde olmayan yeni hayvan resimleri üretmeye başladı. Aynı şekilde insan portreleri veya şehir manzaraları ile eğitilen yapay zekâ, günler süren eğitim süreci sonunda insan portreleri ve şehir manzaraları üretti. CRR Senfoni Orkestrası ile yaptığımız ortak proje öncesindeki çalışmalarımla birlikte resimlerin toplanması, algoritmaların yazılması ve yapay zekanın eğitim süreci yaklaşık üç ay sürdü. Tüm resimlerin depolanma ve korunma süreçlerini “bulut teknolojisinin” getirdiği depolama araçlarında yönettim. Bulut teknolojisini, internet tabanlı bir ağ üzerinde kullanıcılar arasında kaynak paylaşımını sağlayan bir hizmet türü olarak özetleyebiliriz.

‘CANLI PERFORMANS’

• Müzik ve resim uyumu...

Hem en keyifli hem de en zor kısım resimlerin müzikle olan değişimleriydi. Yapay zekâ tarafından üretilen eserlerin müzikle uyumlu bir şekilde hareket edebilmesi için veri bilimi teknikleriyle müziğin harmonik ve vurmalı seslerini ayırt etmem gerekti. Daha sonrasında müziği bir veri olarak anlamamı sağlayacak harmoni dalgası, darbe dalgası, tempo ve benzeri özelliklerini çıkardım. Bu özellikler sayesinde müzik ve resmi birleştirdim. Vurmalıların yoğun olduğu parçalarda vurmalı tepkilerini daha yüksek tutarken diğer parçalarda harmonik tepkileri daha yüksek tuttum. 

Ancak en zor kısım performansın canlı olmasıydı. Atmosferin verdiği heyecanla birlikte canlı performansta bazı kısımlar daha hızlı bazı kısımlar ise daha yavaş olabiliyor. Konser esnasında hem ben bilgisayar başında orkestraya uymaya çalıştım, hem Murat Cem Orhan orkestranın temposunu yönetti. Kısaca müzik ve resimlerin uyumu için konser esnasında hepimiz “canlı bir performans” gerçekleştirdik. 

EŞSİZ BİR DENEYİM

Konserin başında Murat Cem Orhan’ın da özellikle vurguladığı gibi bu deneyim “ünik” yani eşsizdi. Çünkü bir kerelikti. Yeniden çalınsa ve aynı algoritma kullanılsa bile resimler ve değişimleri farklı olacaktı. Nitekim bu eşsiz deneyimi hep birlikte yaşadık ve bitti! Bunun bir parçası olmak çok heyecan vericiydi.