Eğitim teknolojilerinde pazarlanan popüler bir yanılgı vardır: “Yapay Zeka her öğrencinin hızını ve odaklanma süresini gerçek zamanlı analiz edip kişiye özel müfredat üretebilir."
Ürün geliştirme ekipleri uzun bir süre çözümü yapay zekada aradılar. Matematik öğretmeyi, bir video platformunda dizi önermekle aynı kefeye koydular. Testlerden, ekranda kalma süresinden ve kameradan akan veriyi bir öneri motoruna soktular. Algoritmanın sonraki dersi otonom seçmesini kusursuz bir kişiselleştirilmiş öğrenme sandılar. Ancak, değildi.
Algoritmanın bir kullanıcıya yanlış film önermesinin maliyeti sıfırdır. Aynı algoritmanın, 14 yaşındaki bir öğrencinin analitik kapasitesinin düşük olduğuna karar verip onu daha sığ bir eğitime hapsetmesi ise en basit tabirle pedagojik bir şiddettir.
AB YZ Yasası'nın Ek-III listesinin 3. maddesi, eğitimdeki dört temel senaryoyu doğrudan yüksek riskli ilan ediyor (European Parliament and Council, 2024):
Peki Avrupa Birliği ülkeleri, öğrenciye göre soru çıkaran bir algoritmayı neden tehdit olarak görüyor?
Cevap, modellerin mutfağında yatıyor. Tipik bir olasılıksal model (Bayesian Knowledge Tracing), öğrencinin bir kavramı öğrenme olasılığını ve hızını tahmin eder. Ancak bağlam körüdür.
Şöyle bir senaryo düşünün: Sekizinci sınıf matematik platformunda iki öğrenci aynı testte başarısız olsun. İlk öğrenci soruları rastgele işaretlemiştir; soru başına harcadığı süre 15 saniyedir. İkinci öğrenci ise dislektiktir; metni anlamak için soru başına 4 dakika harcamış ve süresi yetmemiştir. Standart bir algoritma, ikinci öğrencinin yanıt süresini negatif sinyal olarak okur. Öğrencinin hız parametresini düşürür. Ardından kişiselleştirme adı altında bu öğrenciye ileri seviye problemleri kapatır. Onu aylarca temel tekrar yaptıran alt seviye bir patikaya kilitler.
Baker ve Hawn (2022) ile Kizilcec ve Lee (2022), bu modellerin sosyoekonomik arka plan ve ana dil farklılıkları karşısında sistematik sapmalar ürettiğini göstermiştir. Model "bu öğrenci ileri matematiğe hazır değil" dediğinde öğrenciye sığ içerik sunar. Sığ içerik alan öğrenci, merkezi sınavda gerçekten başarısız olur. Veri bilimi ekibi ekranı açıp kutlama yapar: "Modelimiz başarısızlığı %92 bilmiş, AUC skorumuz harika." Oysa model geleceği tahmin etmemiştir; öğrencinin önünü keserek kendi kehanetini bizzat yaratmıştır.
Yapay zeka girişimlerinin sığındığı favori kaçış maddesi Madde 6(3)'tür.
Bu maddeye göre, sistem dar kapsamlı bir görev üstleniyorsa veya insan kararını yönlendirmiyorsa yüksek riskten muaf tutulabilir. Eğitim teknolojileri ekipleri buradan hareketle şunu söyler: "Algoritma öğrenciyi sınıfta bırakmıyor, öğretmene tavsiye skoru çıkarıyor; bu yüzden yüksek riskli değiliz."
Bu savunma hukuken ölü doğmuştur. Çünkü aynı maddenin son cümlesi net bir çizgi çeker: Eğer sistem profilleme yapıyorsa, istisna otomatik olarak düşer ve sistem koşulsuz yüksek riskli sayılır (European Parliament and Council, 2024, Art. 6(3)).
Veri tabanınızda “ogrenci_basari_vektoru” veya “terk_risk_skoru” gibi tek bir kolon bile varsa profilleme yapıyorsunuz demektir.
Bunun ticari bir maliyeti de var. Madde 27 uyarınca, yüksek riskli bir EdTech ürününü satın alan okullar, sistemi kullanmadan önce Temel Haklar Etki Değerlendirmesi (Fundamental Rights Impact Assessment - FRIA) yapmak zorundadır. Mimarisinde kara kutu profilleme barındıran bir ürün, müşterisine doğrudan hukuki risk ihraç eden kusurlu bir maldır.
Yasanın çizdiği sınır sadece yüksek riskle bitmez. Bazı özellikler doğrudan yasaklı statüdedir. İhlalin cezası küresel cironun %7'sine kadar çıkar (European Parliament and Council, 2024, Art. 99).
Pandemi sonrasında birçok girişim, pedagojik derinlik eksikliğini gözetim teknolojisiyle kapatmıştı. Öğrenci kamerasından akan görüntüleri yüz analizi modelleriyle işleyerek öğretmene gerçek zamanlı "odaklanma skoru" raporlayan paneller satmışlardı.
AB YZ Yasası Madde 5(1)(f), tıbbi istisnalar dışında eğitim kurumlarında duygu tanıma sistemlerinin kullanımını tamamen yasakladı (European Parliament and Council, 2024).
Bu yasağın arkasında sert bir bilimsel gerçeklik var: Bu ürünler çalışmıyor.
İnsanın yüz kaslarındaki hareketlerden içsel durumunun evrensel olarak çıkarılamayacağı kanıtlandı (Barrett vd., 2019). Crawford (2021), biyometrik veriden duygu okuma iddiasındaki bu modelleri modern bir algoritmik frenoloji olarak tanımlar. 19. yüzyılda kafatası ölçümlerinden zeka çıkaran sözde bilimciler neyse, bugün kameradan odaklanma çıkaranlar da odur.
Ekrana çatık kaşla bakan bir öğrenci düşünün. Görüntü işleme modeli bu öğrenciyi dikkat dağınıklığı olarak etiketler. Oysa öğrenci zor bir fizik problemini kafasında canlandırmak için gözünü tavana dikmiş olabilir. Gözetimi pedagoji sanan bu tembel mimari, en derin düşünen öğrenciyi cezalandırır.
Aynı çöküş sınav gözetim yazılımlarında da yaşanıyor. Coghlan, Miller ve Paterson (2021), bu araçların her öğrenciyi potansiyel suçlu varsayarak etiketlediğini vurguluyor. Bu sistemler yaptığı hatalardan bazılarını sayacak olursak:
AB YZ Yasası eğitimde yapay zekayı yasaklamıyor. Öğrenciyi kapalı bir kutuda profilleyip onun adına karar alan tembel mimarileri tasfiye ediyor. EdTech ekiplerinin hayatta kalması için bu üç dönüşüm şarttır:
Geleneksel mimaride model öğrenme olasılığını düşük bulduğunda müfredatı kilitler. Bu yapı yüksek riskli profilleme kapsamına girer.
Çözüm, Açık Öğrenci Modelleri mimarisine geçmektir (Bull & Kay, 2016). Algoritma bir kapı bekçisi gibi değil, şeffaf bir iskele (İngilizce’de scaffolding dediğimiz) gibi çalışmalıdır.
Modelin çıkarımı gizli tutulmamalı; öğrencinin görebileceği bir arayüze taşınmalıdır. Sistem müfredatı gizlice değiştirmek yerine şunu demelidir: "Türev kuralında hata yaptığın görünüyor. İstersen sonraki üniteye geç, istersen 10 dakikalık tekrar modülünü aç." Kontrolü öğrenciye bırakmak, sistemi profilleme motoru olmaktan çıkarır ve öğrenci özerkliğini inşa eder.
Kamera tabanlı dikkat takibi doğru çalışmayan bir sistemdi. Öğrencinin öğrenip öğrenmediğini yüzündeki piksel değişiminden anlamaya çalışmak hem safsatadır hem de suçtur.
Bunun yerine veri akışı, öğrencinin kendi süreci üzerine düşünmesini sağlayan üstbilişsel sinyaller üzerine kurulmalıdır:
Otomatik değerlendirme yapan bir sistemin öğretmene sadece “Kopya Riski: %82” gibi tekil bir skor dönmesi, Madde 13 (Şeffaflık), Madde 14 (İnsan Gözetimi) ve Madde 86 (Açıklama Hakkı) karşısında savunulamaz.
Madde 86, karardan etkilenen kişiye yapay zekanın rolünü ve kararın dayandığı ana parametreleri öğrenme hakkı tanır (European Parliament and Council, 2024, Art. 86).
Bu nedenle kararlar, çıktıları ayrıştırılmış rubrik kriterlerine bağlanmalıdır:
Eğitim ürünlerinde itiraz edilebilirlik zorunlu bir arayüz bileşeni olmalıdır. Öğrenci, yanlış değerlendirilen bir sonuca doğrudan arayüzden kanıt ekleyerek itiraz edebilmelidir. Sistem, insan müdahalesini denetim kayıtlarıyla izlemeli ve bu vakaları modelin yanıldığı veri olarak sürece geri beslemelidir.
Eğitim teknolojilerinde "hızlı hareket et ve ortalığı dağıt" dönemi bitti. Çünkü eğitimde kırılan şey bir yazılım döngüsü değil; gençlerin eğitim hakkı ile gelecek fırsatlarıdır.
AB YZ Yasası'nın getirdiği kurallar ağır bir yük gibi görünebilir. Ancak yasaklanan uygulamalara bakıldığında tablo nettir: Kameradan duygu okuma, kara kutu sınav gözetimi ve öğrenciyi alt seviyelere kilitleyen gizli algoritmalar zaten iyi pedagojiyle bağdaşmayan kusurlu pratiklerdir.
Yasa bize basit bir kuralı hatırlatıyor: Öğrenciyi güden sistemler kurmayı bırakın; öğrencinin ve öğretmenin bilişsel özerkliğini destekleyen araçlar tasarlayın.
K
aynakça
Baker, R. S., & Hawn, A. (2022). Algorithmic bias in education. International Journal of Artificial Intelligence in Education, 32(4), 1052–1092. https://doi.org/10.1007/s40593-021-00285-9
Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M., & Pollak, S. D. (2019). Emotional expressions reconsidered: Challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest, 20(1), 1–68. https://doi.org/10.1177/1529100619832930
Bull, S., & Kay, J. (2016). SMILI☺: A framework for interfaces to learning data in open learner models, learning analytics and related fields. International Journal of Artificial Intelligence in Education, 26(1), 293–331. https://doi.org/10.1007/s40593-015-0090-8
Coghlan, S., Miller, T., & Paterson, J. (2021). Good proctor or "Big Brother"? Ethics of online exam supervision technologies. Philosophy & Technology, 34(4), 1581–1606. https://doi.org/10.1007/s13347-021-00476-1
Crawford, K. (2021). Time to regulate AI that interprets human emotions. Nature, 592(7853), 167. https://doi.org/10.1038/d41586-021-00868-5
European Parliament and Council. (2024). Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). Official Journal of the European Union, L 2024/1689.
Kizilcec, R. F., & Lee, H. (2022). Algorithmic fairness in education. In W. Holmes & K. Porayska-Pomsta (Eds.), The ethics of artificial intelligence in education: Practices, challenges, and debates (pp. 174–202). Routledge. https://doi.org/10.4324/9780429329067-10