28 Ocak 1986 sabahı Challenger uzay mekiği fırlatıldı. 73 saniye sonra parçalandı.

Bu olay genellikle teknik bir arıza olarak anlatılır. Soğuk hava, katı yakıt roketlerindeki O-ring contalarını etkiledi. Conta görevini yapamadı. Sıcak gaz sızdı ve mekik infilak etti. Bu anlatı doğru ama eksik.

Challenger kazasından önce NASA’nın elinde bu tip riskler konusunda bilgiler vardı. Morton Thiokol, mühendisleri düşük sıcaklığın O-ring performansını nasıl etkileyebileceği konusunda uyarıda bulunmuştu. Daha önceki uçuşlardan gelen hasar kayıtları vardı. Mühendislik tarafında açık bir rahatsızlık vardı. Risk görülse de, görülen riskin karar anında aynı ağırlıkla masada kalamaması kazaya yol açtı.

Journal of Management History’de bugün yayınlanan son makalemde ilgilendiğim yer de burası.

Challenger kazasından önceki gece yapılan telekonferansta mühendislerin bildiği şey yönetime aktarılmak zorundaydı. Bu aktarım basit bir sunum kurgusunda slaytlarla yapıldı. Slayt burada yalnızca bir sunum aracı olmanın ötesinde, bilginin hangi biçimde konuşulabileceğini belirleyen bir filtre haline geldi.

Mühendislerin elindeki bilgi dağınık, olasılıklı ve rahatsız ediciydi. Soğuk havada O-ring davranışına dair kesin bir güvenlik marjı yoktu. Önceki hasarlar, o sabah beklenen sıcaklıkla birlikte düşünüldüğünde fırlatmanın ertelenmesi gerektiğini gösteriyordu. Fakat bu bilgi slayta girerken biçim değiştirdi. Maddeler halinde yazılarak alt cümlelere bölündü. Belirsizlikler zayıfladı ve kamufle oldu. Kontrol grubu niteliğindeki bazı veriler görünmez hale geldi. Risk, mühendislerin hissettiği seviye yerine, yönetimin konflru şekilde işleyebileceği seviyede sunuldu.

Bu ayrım önemli. Çünkü kuruluşlar kararları çoğu zaman ham bilgi yerine, temsil edilmiş bilgiyle alır. Bir tablo, slayt, özet, skor kartı ya da model çıktısı yalnızca bilgiyi taşımaz. Neyi karar vericiye anlatacağını, neyi dışarıda bırakacağını da seçer.

Challenger’da da olan buydu. Risk kaybolmadı ama karar sürecine girerken inceldi.

NASA yöneticilerinin önüne gelen şey mühendislik bilgisinin kısaltılmış, düzenlenmiş, toplantıya uygun hale getirilmiş bir versiyonuydu. Böyle bir versiyon çoğu zaman işe yarar. Kurumlar her ayrıntıyı taşıyarak çalışamaz. Ama bazı kararlar vardır ki ayrıntı kararın kendisidir. Challenger kazasına yol açan fırlatmaya devam etme kararı bu tür bir karardı.

Makalede Challenger kazasından günümüzün üretken yapay zekasına (GenAI) buradan geçiyorum. Çünkü bugünün kurumları da aynı işlemi başka araçlar kullanarak yapıyor.

Büyük dil modelleri uzun dava dosyalarını özetliyor. Hasta kayıtlarından değerlendirme çıkarıyor. Finansal raporları kısa notlara çeviriyor. Teknik belgeleri yönetici diline indiriyor. Bunların hepsi zaman kazandırıyor ama aynı anda karar verenlerin neyi bildiğini sandığını da değiştiriyor.

NASA’da karar verirken kullanılan slaytın fiziksel sınırları vardı. Yapay zeka sistemlerinin de bağlam pencereleri, token sınırları ve dikkat mekanizmaları var. Slayt sayfaya sığmayanı dışarıda bırakıyordu. Model de bağlam penceresine sığmayan bazı bilgileri işlem dışı bırakabilir, önem vermediği bazı bölümlere daha az ağırlık verebilir, bazı ayrıntıları cevaba taşımayabilir.

Karar verici olarak slaytta bazen neyin eksik olduğunu sezebilirsiniz. Yapay zeka çıktısında eksiklik daha zor hissedilir. Cevap akıcı, cümleler tamam, kullanılan ton kendinden emindir. Kullanıcı, metnin düzgünlüğünden kapsamın da düzgün olduğu sonucuna neredeyse otomatik olarak varabilir.

Bu yüzden mesele yalnızca “model halüsinasyon görüyor mu?” diye sormak yeterli gelmiyor. Halüsinasyon olmayan bir kaynak, uydurulmuş bir karar, yanlış bir tarih gibi görünür bir hatadır. Ama özetlenen kaynakta var olan bilginin model tarafından dışarıda bırakılması bundan daha derin sonuçlar yaratıyor. Model doğru parçaları kullanarak eksik bir bütün kurabiliyor. Bunu da büyük bir maharetle yaptığı için, kullanıcı da bu eksikliği fark etmiyor.

Makalemde ben buna token temelli epistemik filtreleme diyorum. Teknik bir sınır, kurumsal bilme sorununa dönüşüyor. Sistem bazı bilgileri görmüyor ya da yeterince işlemiyor. Çıktı ise insanlar tarafından sanki kaynak dosyanın tamamı değerlendirilmiş gibi okunuyor.

Challenger’da slaytlar mühendislik bilgisinin bir kısmını taşıdı. Taşımadığı kısım kararın doğru verilebilmesi için belirleyiciydi. Günümüzün yapay zeka kullanımında doğan risk de buna benziyor. Modelin özetlediği bölüm doğru olabilir. Sorun, özetin dışında kalan bölümün karar için daha önemli olması ihtimalidir.

İkinci mesele de uzmanlığın yerinden edilmesi.

Challenger gecesinde mühendisler vardı. Konuştular. Uyardılar. Fakat karar sürecinde mühendislik yargısı, yönetimin talep ettiği kanıt biçimi karşısında zayıfladı. Riskin kesin biçimde ispatlanması beklendi. Oysa mühendislikte her bilgi bu formda gelmez. Bazı uyarılar deneyimden, önceki anomalilerden, malzemenin davranışına dair sezgisel ama eğitimli bir yargıdan gelir.

Yapay zeka kullanımında da benzer bir kayma var. Başta modelden yalnızca taslak istenir. Sonra ilk okuma ona bırakılır. Sonra toplantıya giden notları o üretir. Bir süre sonra uzman, dosyayı baştan kuran kişi olmaktan çıkar, modelin ürettiği çerçeveyi kontrol eden kişiye dönüşür. Bu küçük bir iş bölümü değişikliği gibi görünse de, bilginin otoritesi yer değiştirir.

Kurum hala sorumluluğu insana yükler. İmza insandadır. Ama kararın ilk çerçevesi model tarafından kuruluyorsa, uzmanlık sürecin son kontrol noktasına sıkışır. Zaman baskısı altında o son kontrol de çoğu zaman gerçek bir inceleme olmaz.

Hukukta bu, dava dosyasındaki istisnanın kaçması demektir. Sağlıkta, hasta kaydındaki kısa bir notun görünmemesi demektir. Finansta, raporun arka sayfalarındaki borç koşulunun özet dışında kalması demektir. Mühendislikte, teknik bir uyarının “genel risk” başlığı altında erimesi demektir.

Bunlar aynı türden olaylar olmasa da, aynı soruyu doğuruyorlar: Karar veren kişi gerçekten neyi biliyor?

Challenger’ın bugüne kalan tarafı burada. NASA’nın sorunu bilgiye sahip olmamasından kaynaklanmadı. Bilginin kurumsal dolaşımda zayıflaması problemin esas kaynağıydı. Bugün yapay zeka kullanan kurumlar için de bu konu çok kritik. Model ne kadar hızlı yazıyor? Ne kadar düzgün özetliyor? Bunlar ikincil sorular. Önce bu sistem hangi bilgiyi dışarıda bırakıyor ve bunu kim fark edebiliyor diye sormalıyız.

Yüksek riskli işlerde yapay zeka çıktısı kararın kendisi olmamalı. Karara hazırlık malzemesi olmalı. Modelin hangi belge bölümlerini işlediği, hangi sınırlarla çalıştığı, hangi bilgiyi kapsamadığı görünür olmalı. Uzman doğrulaması sonradan eklenen bir tedbir olmak yerine, sürecin parçası olmalı.

Hızın ve hız beklentisinin göz kamaştırdığı günümüzde, kuruluşların bazen yavaşlaması gerekir. Her düzgün özet karar masasına hemen girmemeli. Birinin çıkıp “Bu özet metin neyi dışarıda bıraktı?” diye sorması gerekir. Bu soru verimliliği azaltabilir. Ama yüksek riskli bazı işlerde verimlilikten önce yanlış güveni azaltmak gerekir.

Challenger’da mühendislik bilgisinin karar gücü de kayboldu. Bilgi vardı, ama karar anına bu bilgi aynı etkide ulaşamadı.

Yapay zeka ile de aynı riskle karşı karşıyayız: bilgi var ama pürüzsüzleşerek zayıfllıyor. Kuruluşlar bunu görmeden yapay zekayı karar süreçlerine yerleştirirse, gelecekteki hatalar yalnızca makinelerin yanlış cevap vermesinden kaynaklanmayacak. İnsanların düzgün görünen eksik cevaplara fazla hızlı inanmasından kaynaklanacak.

Bu gidişle yapay zeka kullanırken çok uzay mekikleri patlayacak.