Açıklanabilir Yapay Zeka Nedir ve İhtiyaç Mıdır?
🌎 Please visit Interesting Engineering for the English version of my article: What Is Explainable Artificial Intelligence and Is It Needed?
Yapay öğrenme modellerindeki sorunlardan biri şeffaflık ve yorumlanabilirlik eksikliğidir.
Açıklanabilir Yapay Zeka-AYZ (Explainable Artificial Intelligence-XAI), son yıllarda sıklıkla tartışması yapılan ve çelişkiler barındıran bir konu olmakla birlikte gerçekten nedir ve ihtiyaç var mıdır soruları etrafında dönüp durmaktadır. YZ güvenilirliği konusunu tartışmadan önce madem YZ düşünce ve karar yapımızı modellemeye çalışmaksa biz kararlarımızı gerçekten nasıl veriyoruz, açıklayabilmeliyiz! Öyle değil mi?
1950'li yıllardan bugüne süregelen bazen daha hızlı bazen daha yavaş gerçekleşen bir makine öğrenmesi dönüşümü var. Yakın geçmişte en çok çalışılan ve dikkat çeken alan ise canlı karar sistemini, davranış ve tepkilerini modellemeyi hedefleyen yapay öğrenmedir. Yapay öğrenme alanında elde edilen başarılı sonuçlar YZ uygulamalarının hızlı artışına yol açtı. İlerleyen çalışmalar kendi kendine algılama, öğrenme, karar verme ve hareket etme yeteneğine sahip otonom sistemler olma vaadinde bulunuyor. Özellikle 1990'lı yıllardan sonra, derin öğrenme kavramı ve temelleri daha geçmişe dayansa da beraberinde gelen yinelemeli sinir ağları, evrişimli sinir ağları, derin pekiştirmeli öğrenme, çekişmeli üretici ağlar konuları dikkat çekici şekilde başarılar elde etmektedir. Her ne kadar başarılı sonuçlar elde ediliyor olsa da bu sistemlerin kararlarının ve eylemlerinin insan kullanıcılara açıklanabilmesi konusunda yetersiz kalınmakta ve sınırlar bulunmaktadır.
Yüzlerce katmanlı milyonlarca yapay sinir hücresi ile tasarlanan yapay öğrenme modelleri yanılmaz değiller. Özellikle bir-piksel-atağı (one-pixel-attack) örneğinde olduğu gibi basit şekilde yanıltılabildiklerinde güvenilirliklerini hızla kaybedebiliyorlar! O halde nasıl başarılı ya da başarısız olabiliyor sorusunu sormamız kaçınılmaz hale geliyor!
Amerika Savunma Bakanlığı (Department of Defense — DoD), her geçen gün daha akıllı hale gelen, otonom ve simbiyotik sistemlerin getirdiği zorluklarla karşı karşıya olduğunu açıklamaktadır.
“Açıklanabilir YZ -özellikle açıklanabilir makine öğrenmesi- gelecekteki kullanıcıların YZ’ya sahip makine ortaklarını anlaması, uygun durumlar için güvenmesi ve etkili bir şekilde yönetebilmesi için önemli ve gereklidir.”
Bu tip ileri seviye uygulamaların başarıları ile birlikte karmaşıklığı da artmakta ve anlaşılması/açıklanabilirliği güçleşmektedir. Hatta bazı konferanslarda sadece bu konunun tartışıldığı oturumlar düzenlenmekte ve akademik araştırmalar sunulmaktadır.
Yeni yapay öğrenme sistemlerinin gerekçelerini açıklama, güçlü ve zayıf yönlerini belirleme ve gelecekte nasıl davranacaklarını anlama becerisine sahip olması hedeflenmektedir. Bu amaca ulaşmak için geliştirilen strateji daha açıklanabilir modeller üretecek yeni veya modifiye edilmiş yapay öğrenme teknikleri geliştirmektir. Bu modellerin, son kullanıcı için anlaşılır ve kullanışlı açıklama diyaloglarına çevirilebilen son teknoloji ürünü insan-bilgisayar etkileşimli arayüzü teknikler ile birleştirilmesi hedeflenmektedir.
Üç temel beklenti ile sisteme yaklaşılması istenmektedir:
▪️ Sistemi tasarlayan ve kullanan tarafları nasıl etkilendiğini,
▪️ Kullanılan veri kaynaklarını ve sonuçları nasıl etkilediğini,
▪️ Bir YZ modelindeki girdilerin çıktılara nasıl yol açtığını açıklamak.
Savunma İleri Araştırma Projeleri Ajansı (Defense Advanced Research Projects Agency) DARPA; “Açıklanabilir YZ, makinelerin içinde çalıştıkları bağlamı ve çevreyi anladıkları ve zaman içinde gerçek dünya fenomenini karakterize etmelerini sağlayan açıklayıcı modeller inşa ettikleri “üçüncü dalga YZ sistemlerini” etkinleştirmesi beklenen bir avuç DARPA programından biridir.” olarak raporlamaktadır.
Bir medikal uygulama üzerinden yola çıkacak olursak, hasta verileri incelendikten sonra karar destek sisteminin önerisi üzerine ilgili hastaya neden “kalp krizi riski” olduğunu önerdiğini hem hekimin anlaması hem hastaya açıklayabilmesi gerekmektedir.
Bu aşamaya gelirken ilk önce belki hangi verilerin değerlendirildiği de bir başka önemli kriterdir. Hangi verilere neden ihtiyaç duyulduğunun da açıklanması ve doğru değerlendirme için nelere ihtiyaç olduğunu da uzmanca belirlemek gerekmektedir.
Ayrıca, araştırmacılar açıklanabilirliğin psikolojisini de incelemektedir.
Gelelim, kararını nasıl verdiğini açıklayamadığımız için bir yapay öğrenme teknolojisini kullanmayı reddettiğimiz noktada aslında benzer şekilde tüm insan çalışanlarından işinden olması gibi bir durum söz konusu olup olmadığına… Çünkü hangi insanın nasıl o kararı verdiğini gerçekten açıklayamadığı senaryolar o kadar çok ki!
Bir insanın model seviyesinde bir karara nasıl vardığını hayal edelim: Biyolojik yapımıza kimyasal ve fiziksel düzeyde yaklaştığımızda, bir beyin hücresinden bir diğer beyin hücresine sağlanan elektriksel sinyallerden bahsediyor oluruz. Bu şekilde bir açıklamadan memnun kalmazsınız. Siz, nasıl bir kahve sipariş etmeye karar verdiniz bunu söyleyin! 🤔
Arkadaşlarınızla bir kafede sipariş verirken biri buzlu kahve diğeri sıcak kahve bir diğerinin çay sipariş etme nedenlerini kimyasal ve sinapslar bakımından açıklıyor mu? Açıklayabiliyor mu? Siz böyle bir açıklama istiyor musunuz? İsteseniz ne olduğunu biliyor musunuz? Merak edip sorduğunuzsa ise insan nasıl karar verdiğiyle ilgili bir hikaye uydurmaya başlıyor! Umarım sizin dinleyeceğiniz fantastik bir hikaye olur, sorun ve deneyin! 😅
Sadece giriş ve çıkış verilerinize bakın ve sonra eğlenceli bir hikaye anlatın! Aslında analitikte de benzer bir yaklaşım vardır ve önemli konulardandır. Yorumlanabilirlik, şeffaflık ve açıklanabilirlik analitikte yeri olan ve test yapılmaksızın yapılan analizler güvenlik hissine sebep olan tek yönlü bir tren bileti gibidir. 🚧
Mükemmel koşullarda;
▪️ En iyi performans üreten bir sistem,
▪️ En iyi şekilde açıklanabilirlik istersiniz.
Ancak gerçek hayat bizi seçime zorlar.
Yorumlanabilirlik: Siz anlıyorsunuz ancak iyi çalışmıyor!
Performans: Siz anlamıyorsunuz ancak iyi çalışıyor!
Özellikle akademisyen, araştırmacılar ve teknoloji şirketleri genellikle performansa daha çok önem vereceklerinden açıklanabilirlik ölçüsünde beklentiyi çok yüksek tutmayacakladır. Ancak alandışından sektörlerde yer alan kişi ve kurumlarla olan senaryo biraz daha farklı. Onlar güvenmek istiyor ve bir açıklama bekliyor.
Yapay öğrenme yaklaşımları bankalar, sigorta şirketleri, sağlık hizmeti sağlayıcıları ve diğer farklı endüstriler için farklılık göstermektedir. Bunun nedeni, bu sektörler için modellerin farklı yasal düzenlemeler ve etik gereksinimleri beraberinde getirmeleridir. Bu durumda yine aynı noktaya geliyoruz. Eğer sisteminizin şu koşulda açıklanabilir olmasını istiyorsanız çok güçlü olmayan daha basit olanıyla değiştirmeniz gerekecek, şimdilik!
Bu konu ile ilgili araştırmalar çoğunlukla DARPA, Google, DeepMind vb. kurumlarca yoğun bir şekilde sürdürülürken sunulan raporlardan anlaşılmaktadır ki; YZ sistemleri hangi sektör ve kimler tarafından kullanılıyor olursa olsun açıklanabilirlik ve doğruluk arasında öyle bir ilişki bulunuyor ki, bir ödünleşim yapmak kaçınılmaz oluyor ve bir süre daha böyle devam edecek gibi duruyor.
Herşey bir yana YZ kör bir şekilde sebep-sonuç ilişkisi kurmadan peşinde sürükleneceğimiz ilahi bir güç haline getirilmemelidir. Diğer yandan da bize sağlayacağı uzgörüyü gözardı etmemeliyiz. Temel olarak, teknik ve akademik düzeyde bilgiye sahip uzmanlar ile farklı sektör ve disiplinlerden görüşleri bir arada tutup uyum içinde çalışabilecek esnek ve yorumlanabilir modeller oluşturmak üzere kafa yormalıyız.
Teşekkür
Yorumları ve geri bildirimleri için Başak Buluz, Yavuz Kömeçoğlu ve Hakan Aydemir’e teşekkür ederim.
Kaynaklar
- Explanation in Artificial Intelligence: Insights from the Social Sciences
- An introduction to explainable AI, and why we need it
2. Explainable AI won’t deliver. Here’s why.
3. ACM SIGKDD Conference on Knowledge Discovery and Data Mining
4. Geoff Hinton Dismissed The Need For Explainable AI: 8 Experts Explain Why He’s Wrong
5. Explainable Artificial Intelligence
