TRT RADYO 1 DİJİTAL HAYAT: ALGORİTMALAR ÖNYARGILI MI?
T.C. Cumhurbaşkanlığı Dijital Dönüşüm Ofisi Sponsorluğunda ve 25 Haziran Cuma günü yayınlanan TRT Radyo1 Dijital Hayat Programı’nda Sayın Bilal EREN’in konuğu oldum. Çalıştığım alanda önemli bulduğum bir konu olan önyargı meselesini ele almamıza fırsat verdiği için teşekkürler.
Algoritma Nedir?
Pek çoğumuzun bildiği gibi algoritma sözcüğü El-Harezmî’nin buluşlarından el-cebir isminin bir tür telaffuzudur. Algoritmayı tanımlayacak olursak; belli bir amaca ulaşmak için (bu bir problemi çözmek de olabilir) tasarlanan yoldur. Aslında hepimiz günlük hayatlarımızı, kendimizce parametreler kullanarak, tasarladığımız algoritma parçaları olarak düşünebiliriz. Klasik bir örnek olarak uyandığımız andan işe varma sürecimiz için izlediğimiz tüm adımlar ve kararlar bir algoritmayı meydana getirmektedir. Yine de daha teknik bir tanım yapmak gerekirse bilgisayar programlarının temelini oluşturur. Problemi çözen iş akışının adımlarının tanımlanmasıyla meydana gelir. Programlar bu algoritma izlenerek oluşturulur.
Algoritmalara İhtiyaç Var mı?
Algoritmaya ihtiyaç var, çünkü bugün hayatımızın vazgeçilmezi haline gelen teknolojik cihazların geri planında yazılımlar çalışmaktadır ve bu yazılımlar algoritmalar ile tasarlanmıştır. Ki bugün yalnızca kullandığımız cihazlar değil platformlar da birer akıllı algoritmalardır. Bu platformlar sosyal medya araçları ya da arama motorları, reklamlar, film/müzik önerileri, iş başvurusu yaptığınız şirketlerin insan kaynakları uygulamaları veya bireyleri kredi puanlarını belirlemeye yardımcı bankacılık uygulamalar olabilir. Genel olarak bu tip akıllı platformları yapay zekâ (YZ) destekli uygulamalar olarak tanımlamak yanlış olmaz. Çünkü belki 20 yıl önce böyle değildi ancak şimdi tüm bu saydıklarım ve bu programa belki sığdıramayacağımız pek çok uygulama veriden beslenen yani bolca veriden anlam çıkararak karar verebilen YZ teknolojileridir. Çeşitli görevler için kullanılan bu algoritmalar insanları etkileyen kararları oluşturmak için makro ve mikro hacimli verilere ihtiyaç duyuyor.
Bu teknolojiler karar destek ve süreci hızlandırmak amacıyla sağlık alanında, ya da bir fabrikadaki bakım kestirimlerinin yapılması için, iş sağlığı ve güvenliği için çalışanların ortam güvenliğinin sağlanmasında, sürücüsüz araçlarda, finans ve pazarlamada sayısız yararlı uygulama olarak karşımıza çıkıyor. Bu örnekleri detaylarını “Yapay Zeka Kullanım Alanları ve Uygulamalarına Derinlemesine Bir Bakış” başlıklı yazımdan inceleyebilirsiniz. Sonuç olarak çözüm bulmak istediğimiz alanla ilgili verilerden örüntüler/bilgiler çıkararak öğrenen ve tahminlerde bulunan, bizimle konuşabilen belki aracımızı sürebilen çok sevdiğimiz insanların hastalıklarını erkenden teşhis edebilen uygulamalardan bahsediyoruz.
Algoritmalarda Önyargı Olur mu?
Elbette insanlarda olduğu gibi algoritmalarda önyargıyla karşılaşıyoruz. Buna teknik olarak algoritmik önyargı diyoruz. Başlıca sebebi biraz önce bahsettiğimiz ve bu algoritmaların kullanması gereken verilerden doğuyor. Algoritmalardaki önyargı temsili olmayan veya eksik verilerden meydana gelmektedir. Ancak tek sebebi bu olmayabilir. Tarihsel eşitsizlikleri yansıtan kusurlu bilgilere güvenerek sistemlerimizi tasarladığımızda da istemeden önyargı oluşturabiliyoruz. Bu da insan kaynaklı önyargıdır. İşin kötüsü bir kez önyargıya sahip bir algoritmayı kullanmaya başladığımızda kümülatif olarak artan bir önyargı sistemini tetiklemiş de olabiliyoruz. Örnekle açıklamam gerekirse; ABD yargıçları tarafından kefalet ve ceza sınırlarını belirlemek için kullanılan otomatik risk değerlendirmeleri, yanlış sonuçlara yol açarak belirli gruplar üzerinde daha uzun hapis cezaları veya beyaz ten rengine sahip olmayan kişilere daha yüksek kefalet verilmesi gibi etkilerle sonuçlanmıştı.
Algoritmalarda Karşılaşılan Önyargıları Örneklerle Gösterebilir miyiz?
🔹 Çevrim içi reklamlarda önyargı hemen hemen hepimizin günlük hayatta gözlemleyebileceği bir örnek olarak ilk sırada sayabilirim. Cinsiyetinize, etnik kökeninize, daha çok beğendiğiniz veya daha önce alışveriş yaptığınız ürünler gibi bilgileri, yani çevrim içi platformlar üzerindeki hareketlerinizi takip ederek; takip ederek derken bu platformlar üzerinde oluşturduğunuz veriler yani internetteki parmak izinizden faydalanarak size özel, yani bana farklı size farklı olacak şekilde reklamlar tasarlanmakta ve önümüze sürülmektedir. Buna mikro hedefleme deniyor. Bazen bizi alışveriş yapmaya zorluyor bazen o platform üzerinde daha uzun vakit geçirmemizi, daha fazla reklam görmemizi ve daha fazla para kazandırmamıza sebep oluyor. Bu konunun detaylarını uzmanlarından dinleyeceğiniz bir belgesel film önerebilirim: Social Dilemma.
🔹 Kelime ilişkilendirmelerinde önyargı çok karşılaşılan bir başka türüdür. Arama motorları, makine çevirisi gibi uygulamalarda rastlanabilen, az temsil verisine bağlı algoritmik bir önyargıdır. Örneğin; Princeton Üniversitesi araştırmacıları 2,2 milyon kelimeyi analiz etmek için bir YZ uygulaması geliştirmiştir. Avrupalı isimlerin Afrikalı-Amerikalıların isimlerinden daha hoş olarak algılandığını ve “kadın” ve “kız” kelimelerinin, büyük olasılıkla erkeklerle bağlantılı olan bilim ve matematik yerine sanatla ilişkilendirilme olasılığının daha yüksek olduğunu keşfetmişlerdir. Eğitim verilerindeki bu kelime ilişkilendirmelerini analiz ederken, YZ algoritması, insanlar tarafından gösterilen mevcut ırk ve cinsiyet önyargılarını tespit etmiş oldu. Bu algoritmaların öğrenilen çağrışımları, bir arama motoru sıralama algoritmasının parçası olarak veya otomatik tamamlama aracının bir parçası olarak kelime önerileri oluşturmak için kullanılsaydı, bunun ırk ve cinsiyet önyargılarını pekiştiren kümülatif bir etkisi olabilir.
🔹 Çevrim içi işe alım araçlarındaki önyargı da sözünü etmemiz gereken örneklerden biridir. Küresel iş gücünün yaklaşık %60’ını ve yönetim pozisyonlarının %74’ünü erkek bireyler oluşturmaktadır. Amazon şirketi ise yakın zamanda kullandığı YZ destekli işe alım algoritmasını kullanmayı bu yüzden bıraktı. Çünkü bu uygulama ile yönetici pozisyonlarına gereklilikleri sağlasa bile kadın adaylar önerilmemekteydi.
Okuma önerisi: Betul Colak’ın kaleme aldığı “Yapay Zekanın İstihdam Süreçlerine Etkisi” başlıklı içerik oldukça güzel bir özet.
🔹 Ceza adaleti algoritmalarında da önyargı fark edilmişti, bahsettim. ProPublica’nin raporuna göre; ABD’de yargıçlara karar destek isteminde ırkçı bir algoritmik önyargı bulunmuştur. Algoritma, tutuklama kayıtları, davalı demografisi ve diğer değişkenler üzerinde mevcut olan hacimli verilere dayanarak sanığın gelecekte bir suç işleme olasılığına bir risk puanı atıyordu. Yeniden suç işleme olasılığı eşit olan beyazlarla karşılaştırıldığında, Afrikalı-Amerikalıların daha yüksek risk puanı alması daha yüksek olasılıklıydı ve bu da yargıya çıkmayı beklerken daha uzun gözaltı süreleri ile sonuçlandı. Bu da tarihsel bir insan önyargısının ve süregelen, verilerden beslenen sistemlerin gösterdiği bir önyargı olarak kayıtlara geçti.
🔹 Irksal ayrımcılığa örnek olarak Amazon şirketi, belirli mahalleleri aynı gün Prime teslimat sisteminden çıkarmak için kurumsal bir karar verdi. Kararları şu faktörlere dayanıyordu:
- Belirli bir posta kodunda yeterli sayıda Prime üyesi olup olmadığı,
- Bu posta kodunun bir deponun yakınında olup olmadığı,
- Bu posta koduna teslimat yapmaya istekli yeterli sayıda insanın olup olmadığıydı.
Bu faktörler şirketin kârlılık modeline tekabül ederken, yoksul, ağırlıklı olarak Afrika kökenli Amerikalı mahallelerin dışlanmasıyla sonuçlandı ve bu veri noktalarını ırksal sınıflandırma için temsillere dönüştürdü. Sonuçlar, istenmeden de olsa, dâhil edilmeyen ırksal ve etnik azınlıklara karşı ayrımcılığa neden oldu.
Çok bilinen bir diğer örnek de yüz tanıma teknolojisidir ve burada da karşımıza önyargı çıkmaktadır. MIT araştırmacısı Joy Buolamwini, ticari olarak satılan üç yüz tanıma yazılımı sisteminin algoritmalarının, daha koyu tenleri tanımada başarısız olduğunu keşfetti. Genel olarak, çoğu yüz tanıma sistemi için kullanılan veri kümesinin %75'ten fazla erkek ve %80'den fazla beyaz olduğu tahmin edilmektedir. Fotoğraftaki kişi beyaz bir adam olduğunda, yazılım %99 oranında doğru kişiyi erkek olarak tanımlıyordu. Buolamwini’nin araştırmasına göre; üç ürün için ürün hata oranları genel olarak %1’den azdı. Ancak hata oranı; daha koyu tenli kadınların kadın olarak tanımlanmasında bir üründe %20'nin ve diğer ikisinde %34'ün üzerine çıktı. Buolamwini’nin yüz analizi bulgularına yanıt olarak hem IBM hem de Microsoft, daha koyu tenli yüzler için tanıma yazılımlarının doğruluğunu iyileştirmeyi taahhüt etti. Joy Buolamwini’nin bu çalışmasının detaylı anlatımını bulabileceğiniz bir belgesel film daha önerebilirim: Coded Bias
Burada vurgu yapmak istediğim konu; önyargı olasılığını ve nedenini kabul etmek, herhangi bir önyargıyı iyileştirme yaklaşımı için ilk adımdır. Önce bu ihtimali düşünmek gerekiyor.
Şarkı Önerisi: Muse — Algorithm
Algoritmik Önyargı Oluşturulmasında Kasıt Olabilir mi?
Bu konuştuğumuz önyargı örnekleri kapsamlı olmasa da, bu sorunların sadece teorik kaygılar değil, deneysel gerçeklikler olduğunu öne sürüyor. Ayrıca, bu sonuçların nasıl ortaya çıktığını ve bazı durumlarda algoritmanın tasarlayıcıları veya uygulayıcıları tarafından kötü niyetli bir amaç olmadan ortaya çıktığını da göstermektedir.
Temel olarak tartışmalarda algoritmaları eğitmek için kullanılan verilerin temsil kapsamı ve eksikliğine odaklanılmış olsa da insandan doğan ve bazen farkında bile olunmayan önyargılar da algoritmalarla ortaya çıkmakta ve işin kötüsü kullanıldıkça YZ modelleri bu bilgileri yeniden üretir ve giderek büyüyen bir önyargıya sebep olabilir.
Tabi ki bu sistemlerin kasten ve belirli bir motivasyonla gerçekleştirilen örnekleri de var. Bir önceki ABD seçimlerinde Facebook verilerinin Cambridge Analytica şirketine satılması ve bu sayede yapılan profilleme ile mikro hedefleme yoluyla manipülasyon yapıldığını Facebook davasında hepimiz takip ettik. Hatta süreci takip etmeyenler ve merak edenler için yine belgesel bir film önerebilirim: The Great Hack
Önyargıları Engellemek İçin Ne/Neler Yapılmalı?
Önyargıları fark etmek ve kabul etmek daha önce söylediğim gibi engellemenin ilk adımıdır. Tabi peşi sıra gelen teknik ve sosyal yöntemler de mevcuttur. Bu önyargı engelleme çalışmalarına algoritmik hijyen deniyor. Algoritmik hijyeni sağlamak için izleyebileceğimiz yollar elbette var.
- İlk olarak verilerde çeşitliliği sağlamak,
- Farklı ortamlarda test etmeye çalışmak,
- Yürütme ve değerlendirme süreçlerine insanları dâhil etmek ve sonuçların takibini sağlamak,
- Hassas veriler ile çalışılıyorsa mahremiyet ve güvenliğe dikkat etmek,
- Adil olabilmek için hangi durumlarda hangi hata oranlarının eşitlenmesi gerektiği konusunda bazı ilkelerin oluşturulmasını sağlamak,
- Önyargıyı pekiştirmekten kaçınmak için algoritma geliştiricilerinin, modelin genel performansından ödün vermeden gruplar arasındaki farklılıkları azaltmanın yollarını aramaları da yine teknik olarak üzerinde durulması gereken araştırma konuları olabilir.
Bu çalışmaları takip eden uluslararası mekanizmalarda geliştiriliyor.
“YZ’de önyargının önüne geçmenin üç büyük adımı vardır; ilk olarak etik bir kültür yaratmaktır, sonra şeffaflığı sağlamak ve son olarak, ister veri kümelerinizde ister algoritmalarınızda olsun dışlamayı ayrımcılığı ortadan kaldırmak için eyleme geçilmesidir.” — Kathy Baxter
Hangi Mekanizmalara İhtiyaç Var?
Avrupa Konseyi bünyesinde kurulan Yapay Zekâ Ad Hoc Komitesi (CAHAI) tarafından yayınlanan fizibilite çalışmalarında YZ sistemleri sosyo-teknik sistemler olarak tanımlanmıştır ve teknik, sosyal ve hukuki önlemlerin etkin şekilde oluşturulabilmesi için çok disiplinli, uluslararası ve iş birliği ile sağlanabileceği üzerinde durulmuştur. YZ kullanımı ve etik yönetişim standartları geliştirmek için devam eden uluslararası çabalar yok değil. Ekonomik İşbirliği ve Kalkınma Örgütü’nün (OECD) 2019 yılında Türkiye Cumhuriyeti tarafından da imzalanan Yapay Zekâ İlkeleri’ni takip etmek önemlidir. Bu ilkeler;
- Teknik sağlamlık ve güvenlik,
- Mahremiyet ve veri yönetimi,
- Şeffaflık,
- Çeşitlilik, ayrımcılık yapmama ve adalet,
- Çevresel ve toplumsal refah ve
- Hesap verebilirlik
Pek çok süreci ve ekonomiyi de değiştiren teknolojik gelişmelerin çözümünde hukuki birlikleri de bir arada tutmak gerekir. Dr. Av. Basak Ozan Ozparlak son yayınında “İşe Alımda Ayrımcılık ve Yapay Zekâ Sistemleri” üzerine yazdı ve şöyle bir öneri getiriyor: “Yapay zekâ sistemlerinden faydalanırken adil bir istihdam politikası yürütebilmek için rekabet hukuku, veri koruma ve iş hukukunun iş birliği ve bu alanlardaki etkili yaptırımların birbirini desteklemesi ile sürdürülebilirdir.”
Önyargının azaltılması için mahremiyet ve güvenliğe ilişkin farkındalığın artırılması, politik teşvik ile yasal gerekliliklerin önemli etkisi olacaktır. Yasalara ve etik ilkelere uyumlu teknik ve sosyal araştırmaların desteklenmesi, hukuki sorumlulukların belirlenmesi gibi somut adımlar atılmalıdır.
Bireysel Olarak Ne Yapabiliriz?
Verimlilik için harika olan algoritmalar, henüz adaletin ne olduğunu bilmiyor.
Adalet, paylaşılan etik inançlara dayanır matematiksel bir yaklaşımdan ziyade, bir insan kararlılığıdır. Bu nedenle, insanlar için ciddi sonuçlar doğurabilecek algoritmik kararlar, insan katılımını gerektirecektir. Bu sürece insanı dâhil etme yani Human-in-the- Loop diyoruz. Kısaca insan katılımını sağlamak önemlidir.
Çeşitli disiplinlerden ve sektörlerden mühendislik, hukuk, pazarlama, strateji ve iletişim dâhil olmak üzere, uzmanları bir araya getirmek; çevrim içi önyargıları azaltmak için hesap verebilirlik standartlarını ve stratejilerini kolaylaştırmaya yardımcı olacaktır diye düşünüyorum.
Tabi bence kullanıcıların da sistemlere geribildirim verebilmeleri için iyi birer teknoloji okuryazarı olmaları gerekiyor. Önyargıyı düzenleyen kamu kurumları misyonlarının bir parçası olarak, YZ ve veriyle ilişkili teknolojilerde okuryazarlığı artırmak için de çalışmalıdır. Hem kamuda hem de özel sektörde, önyargılı karar verme sürecinden en çok zarar görecek olan bireyler bunu tespit etmede aktif bir rol oynayabilir. Yani kullanıcılardan bahsediyorum.
Kitap Önerisi: Weapons of Math Destruction, Cathy O’Neil
Okuma önerisi: Başak Buluz Kömeçoğlu’nun kaleme aldığı “Hukuk için Yapay Zeka” başlıklı içerik oldukça güzel bir özet.
Programımızı kaçıranlar veya tekrar dinlemek isteyenler için çeşitli platformlarda
👽 Daha fazla içerik için GitHub ve Twitter hesabımı da takip edebilirsiniz!
🐝 İlginizi çekebilecek diğer yazılarım
⛲️Kaynaklar
- Nicol Turner-Lee, Paul Resnick, and Genie Barton, “Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms”, Brooking Report, May 22, 2019
- Stephen F. DeAngelius. “Artificial intelligence: How algorithms make systems smart,” Wired Magazine, September 2014.
- Michael J. Garbade. “Clearing the Confusion: AI vs. Machine Learning vs. Deep Learning Differences,” Towards Data Science, September 14, 2018.
- Andrea Blass and Yuri Gurevich. Algorithms: A Quest for Absolute Definitions. Bulletin of European Association for Theoretical Computer Science 81, 2003.
- Kearns, Michael. “Data Intimacy, Machine Learning and Consumer Privacy.” University of Pennsylvania Law School, May 2018.
- Hamilton, Isobel Asher. “Why It’s Totally Unsurprising That Amazon’s Recruitment AI Was Biased against Women.” Business Insider, October 13, 2018.
- Vincent, James. “Amazon Reportedly Scraps Internal AI Recruiting Tool That Was Biased against Women.” The Verge, October 10, 2018.
- Hadhazy, Adam. “Biased Bots: Artificial-Intelligence Systems Echo Human Prejudices.” Princeton University, April 18, 2017.
- Sweeney, Latanya. “Discrimination in online ad delivery.” Rochester, NY: Social Science Research Network, January 28, 2013.
- Sweeney, Latanya and Jinyan Zang. “How appropriate might big data analytics decisions be when placing ads?” P
- “FTC Hearing #7: The Competition and Consumer Protection Issues of Algorithms, Artificial Intelligence, and Predictive Analytics,” § Federal Trade Commission (2018), Hardesty, Larry. “Study Finds Gender and Skin-Type Bias in Commercial Artificial-Intelligence Systems.” MIT News, February 11, 2018.
- Angwin, Julia, Jeff Larson, Surya Mattu, and Laura Kirchner. “Machine Bias.” ProPublica, May 23, 2016.
- Brennan, Tim, William Dieterich, and Beate Ehret. “Evaluating the Predictive Validity of the COMPAS Risk and Needs Assessment System.” Criminal Justice and Behavior 36 (2009): 21–40.
- Corbett-Davies, Sam, Emma Pierson, Avi Feller, Sharad Goel, and Aziz Huq. “Algorithmic Decision Making and the Cost of Fairness.” ArXiv:1701.08230 [Cs, Stat], January 27, 2017. https://doi.org/10.1145/3097983.309809.
