Jordan Rudess ve AI’nin Müziği
Eylül ayında MIT Media Lab’da toplanan kalabalık, müzisyen Jordan Rudess ve iki iş arkadaşının konserine katıldı. Bu iş arkadaşlarından biri, Rudess ile daha önce sahne almış keman ve vokal sanatçısı Camilla Bäckman, diğeri ise MIT ekibi ile birkaç ayda geliştirilen yapay zeka modeline verilen jam_bot adındaki çalışmaydı; bu, halkla buluşan ilk performansını sergiliyordu.
Konser boyunca Rudess ve Bäckman, birlikte müzik yapmanın keyfini çıkaran deneyimli müzisyenlerin alışkanlıklarını gösteren sinyaller ve gülümsemeler paylaştı. Ancak Rudess’in jam_bot ile etkileşimleri farklı ve alışılmadık bir değişim öneriyordu. Bach’tan esinlenen bir düette Rudess, birkaç ölçü çaldıktan sonra yapay zekanın müziğe devam etmesine izin verdi. Bu sırada Rudess’in yüzündeki ifadeler: şaşkınlık, yoğunlaşma, merak gibi bir dizi duygu dalgalanması yaşandı. Parçanın sonunda, Rudess izleyicilere, “Bu hem çok eğlenceli hem de gerçekten, gerçekten zorlu bir kombinasyon,” itirafında bulundu.
Rudess’in Yaratıcı Süreci
Jordan Rudess, ilerici metal grubu Dream Theater ile duyduğu başarıyla tanınan, birçok kişi tarafından tüm zamanların en iyi klavyecisi olarak nitelendirilen bir sanatçı. Bu sonbahar, grubunun 40. yıl dönümünü kutlayacağı büyük bir turneye çıkmaya hazırlanıyor. Rudess, “Permission to Fly” adlı son solo albümünü 6 Eylül’de çıkardı. Ayrıca, çevrimiçi dersler vererek yeteneklerini paylaşan bir eğitimci ve Wizdom Music adlı yazılım şirketinin kurucusudur.
Geçtiğimiz bahar, Rudess, MIT Sanat, Bilim ve Teknoloji Merkezi’nin (CAST) ziyaretçi sanatçısı olarak göreve başladı. Burada, MIT Media Lab’in Yanıt Verme Ortamları araştırma grubuyla yeni yapay zeka destekli müzik teknolojileri geliştirmek için işbirliği yaptı. Rudess’in en yakın iş arkadaşları, müzikte üretken yapay zeka uygulamalarını araştıran Media Lab mezunları Lancelot Blanchard ve etkileşimli, kinetik, ışık ve zaman tabanlı medya konusunda uzmanlaşmış sanatçı ve mühendis Perry Naseck’tir. Projeye başkanlık eden ise Rudess’in uzun zamandır hayranı olan Profesör Joseph Paradiso’dur.
Sembiyotik Virtüozluk
Araştırmacılar, Rudess’in kendine özgü müzikal tarzını ve tekniğini yansıtan bir makine öğrenimi modeli geliştirmeye başladılar. Eylül ayında MIT Press tarafından çevrimiçi yayınlanan bir makalede, MIT müzik teknolojisi profesörü Eran Egozy ile birlikte, insan ve bilgisayarın gerçek zamanlı olarak düet yaparak her performanstan öğrenmesini istemek için “sembiyotik virtuozluk” terimini belirtiyorlar.
Rudess, jam_bot modelinin öğrenmesi için gerekli verileri sağladı. Sürekli test ve geri bildirimde bulundu. Naseck, teknolojinin izleyicilerle ilişkisini görselleştirmek için farklı yollar denedi. Bu denemelerin ilki, yapay zeka akor değiştirdiğinde aydınlatmaların değiştiği bir heykelsi kurulum şeklindeydi. Konserde, Rudess’in arkasındaki petal şeklindeki paneller, AI modelinin etkinliğine ve gelecek üretimlerine dayanan koreografi ile hayat buldu.
Gelecekteki Müzikal Olasılıklar
Projenin başlangıç noktasında, Blanchard bir müzik dönüşümcüsü kullandı, bu açık kaynaklı sinir ağı yapısı MIT’ye katılan Yardımcı Profesör Anna Huang tarafından geliştirilmiştir. “Müzik dönüşümcüleri, büyük dil modelleri ile benzer bir şekilde çalışıyor,” diyor Blanchard. “ChatGPT’nin en olası sonraki kelimeyi üretmesi gibi, bizim modelimiz de en olası sonraki notaları tahmin ediyor.”
Blanchard, modeli Rudess’in yaptığı kayıtlarla ince ayar yaptı. Ayrıca, yapay zekanın Rudess’in doğaçlamalarına anında cevap verebilmesi için yeterince çevik olmasını sağladı. “Projeyi yeniden çerçeveledik,” diyor Blanchard, “modelin varsayımlarına dayanan müzikal geleceklere dair.” Rudess ise, “AI nasıl yanıt verebilir? Onunla nasıl bir diyalog kurabilirim? İşte burada kesinlikle keskin bir noktamız var,” diyor.
Yenilikçi Deneyim
Bu işbirliği sona erse de, araştırmacılar için pek çok deneyim ve gelecekteki araştırmalar için yollar ortaya çıkıyor. Naseck, Rudess’in kurulum ile doğrudan etkileşimini artırmayı istiyor. “Gelecekte, daha ince hareketleri ve duruşları üzerinde çalışmak istiyoruz,” diyor.
MIT işbirliği, Rudess’in bu aracı nasıl kendi performanslarını artırmak için kullanabileceğine odaklanmıştı. Ancak bu teknolojinin başka yönlerine de kolaylıkla uygulanabileceğini hayal etmek mümkün. “Bir akor dizisi çaldım ve Jordan’ın modeli melodileri üretiyordu. Bu, bana bir tür müzikal ‘arı’ gibi geldi,” diyor Paradiso. “Bununla birlikte, favori müzisyenleriniz için AI eklentileri göreceksiniz. Bu türden bir dünyayı açıyoruz,” diyerek vurguluyor.
Rudess, modelin eğitimde de kullanılabileceğini düşünüyor. “Müzik eğitiminde uygulanabilir pek çok şey var,” diyor. Yapay zeka ile müzik dünyasının kesişimi, bu alandaki yenilikçi çalışmalar için bir kapı aralıyor.
