ChatGPT’den öğrenenler daha az biliyor

Yapay zekâ sohbet botları, özellikle de ChatGPT, iki bin yirmi ikinin sonundan beri milyonlarca insan için “hızlı bilgiye erişim” aracı haline geldi. Bir soru soruyorsunuz, saniyeler içinde derli toplu bir özet geliyor. Ancak yeni bir araştırma, bu rahatlığın öğrenme kalitesi açısından bir bedeli olabileceğini gösteriyor: ChatGPT gibi büyük dil modellerine dayanarak öğrenenler, klasik Google aramasıyla bilgi toplayanlara göre konuya daha yüzeysel hâkim oluyor.

Araştırmanın yazarlarından pazarlama profesörü Jin Ho Yun ve meslektaşı, toplamda on binin üzerinde katılımcının yer aldığı yedi ayrı çalışmanın sonuçlarını analiz etti. Çalışmalarda, katılımcılar rastgele iki gruba ayrıldı: Bir grup bir konuyu ChatGPT gibi bir LLM (Büyük dil modeli) üzerinden, diğer grup ise standart Google aramasıyla, linkleri gezerek öğrendi. 

DENEY NASIL YAPILDI

Katılımcılardan örneğin “sebze bahçesi nasıl kurulur?” gibi bir konuda bilgi edinmeleri istendi. Bir kısım, sorularını ChatGPT benzeri bir modele sordu; diğerleri ise Google’da arama yapıp çıkan linklere tıkladı, diledikleri kadar gezindi. Her iki gruba da herhangi bir kısıtlama getirilmedi; istedikleri kadar soru sorup, istedikleri kadar sayfa açabildiler.

Ardından, herkesin “Bir arkadaşına bu konuda tavsiye veren” bir yazı kaleme etmesi istendi. Yani amaç, gerçekten ne kadar öğrendiklerini, bir başkasına anlatırken ortaya çıkarabilmekti.

Sonuç netti: LLM kullananlar, konuyu daha az öğrendiklerini hissettiklerini söylediler, tavsiye yazısını yazarken daha az çaba harcadılar ve ortaya çıkan metinler daha kısa, daha az gerçek bilgi içeren ve daha genel geçer ifadelerden oluştu. Bu tavsiye yazıları daha sonra, hangi aracın kullanıldığını bilmeyen bağımsız bir okuyucu grubuna gösterildi; onlar da bu metinleri daha az bilgilendirici ve daha az faydalı buldu, verilen tavsiyeleri uygulama isteği de daha düşük kaldı. 

FARK SADECE İÇERİKTE DEĞİL

“Belki de sorun, ChatGPT’nin Google’a göre daha dar bir bilgi setini sunmasıdır” ihtimalini elemek için araştırmacılar ek deneyler yaptı. Bir çalışmada, her iki gruba da tamamen aynı gerçekleri içeren içerikler gösterildi; sadece biri bunları LLM’den özetlenmiş şekilde, diğeri ise Google linkleri üzerinden parça parça okudu. Yine LLM’yi kullananlar daha yüzeysel bilgi geliştirdi.

Başka bir deneyde ise platform sabit tutuldu: Herkes Google kullandı, ama bir grup klasik arama sonuçlarıyla, diğer grup ise Google’ın “AI Overview” yani yapay zekâ destekli özet özelliğiyle çalıştı. Gerçekler ve platform aynı kalsa da, özetlenmiş LLM cevabından öğrenenler yine daha sığ bilgiye sahip oldu.

Araştırmacılar ayrıca, LLM cevabının yanında gerçek web linklerini de gösteren özel bir modelle deneme yaptı. Ama burada da katılımcılar, özet cevabı gördükten sonra linklere tıklamaya pek istekli olmadı; “Zaten cevabı aldım” hissi, derine inmeyi engelledi. 

NEDEN YÜZEYSEL KALIYOR

Çalışmanın temel mesajı, eğitim psikolojisindeki çok eski bir ilkeyle örtüşüyor: İnsanlar, malzemeyle aktif şekilde uğraştıklarında daha iyi öğreniyor.

Google araması yaparken ister istemez bir sürü “sürtünmeyle” karşılaşıyoruz: Farklı linklere tıklıyoruz, metinler okuyoruz, hangi kaynağın güvenilir olduğuna karar vermeye çalışıyoruz, parçalı bilgileri kafamızda birleştiriyoruz. Bu zahmet, aslında beynin konuyla ilgili daha derin ve özgün bir zihinsel model kurmasını sağlıyor.

LLM’lerde ise bu sürecin büyük bölümünü model bizim yerimize yapıyor: Topluyor, süzüyor, sentezliyor ve bize hazır bir paket halinde sunuyor. Kullanıcı tarafı ise daha pasif kalıyor. Araştırma da gösteriyor ki, bu pasiflik, öğrenmenin kalitesini aşağı çekiyor. 

YAPAY ZEKÂYI TAMAMEN BIRAKIN DEMİYOR

Araştırmacılar, buradan “ChatGPT’yi asla kullanmayın” sonucunu çıkarmıyor. Aksine, nerede faydalı, nerede zararlı olabileceğini bilerek kullanmak gerektiğini vurguluyorlar.

• Hızlı, net bir bilgi mi lazım? Tarih, tanım, kısa bir açıklama, bir kavramı hatırlama gibi durumlarda yapay zekâ asistanları son derece pratik.
• Ama amacınız bir konuda derin ve genellenebilir bir bilgi birikimi oluşturmaksa -yani gerçekten öğrenmek, ileride farklı bağlamlarda da kullanabileceğiniz sağlam bir temel atmaksa- sadece LLM özetlerine güvenmek pek iyi bir strateji değil.

Araştırmacı ekip, bundan sonraki çalışmalarında, öğrenme amaçlı kullanılan yapay zekâ araçlarına “sağlıklı sürtünmeler” ekleyen tasarımlar üzerinde çalışmayı planlıyor. Örneğin, kullanıcıyı özet cevabın ötesine geçmeye, kaynak okumaya ve kendi sentezini oluşturmaya teşvik eden “hız kesici” mekanizmalar… Özellikle ortaöğretimde, öğrencilerin temel okuma-yazma-matematik becerilerini geliştirirken bir yandan da kaçınılmaz olarak hayatlarına girecek LLM’lerle nasıl çalışacaklarını öğretmek, önümüzdeki yılların en kritik eğitim sorularından biri olacak gibi görünüyor.