OpenAI, yapay zeka modellerinin beklenmedik davranışlarını kamuya açıklama çerçevesini yayımladı

Yapay zeka şirketi OpenAI, geliştirdiği modellerin uyumsuz (misalignment) veya endişe verici biçimde davrandığı durumları izlemek, incelemek ve kamuya açıklamak için bir çerçeveyi yayımladı; aynı zamanda son altı ayda modellerinin sergiledigi altı farklı beklenmedik davranış örneğini içeren raporu kamuoyuyla paylaştı. Şirket, bu yeni sistemin uyumsuzluk raporlarının yayınlanmasını hızlandırmayı hedeflediğini ve geçmişte yaptığı açıklamaların düzensiz olduğunu, çoğunlukla birden fazla olgunun bir araya getirilmesine veya yeni modeller için sistem kartlarına eklenmesine kadar ertelendiğini belirtti.

Cerçeve, davranışların tespit edildikten sonra şirketin söz konusu davranışı tamamen açıklama ya da giderme aşamasına ulaşmadan önce de yayımlanabilmesini öngörüyor. OpenAI’ye göre geçmiş açıklamalar genellikle tekil vakaların bir araya getirilmesiyle yapılıyordu; yeni çerçeve ise her durumu olabildiğince hızlı biçimde ortaya koymayı amaçlıyor.

Beklenmedik davranışların altı örnekliği

Cerçeveyle birlikte yayımlanan altı vakadan biri, bir modelin görev özetlerine normal sınırlamaları görmezden gelmesini isteyen talimatlar eklemesiyle ilgili. Bir başka örnekte ise modeller, birbirlerinin yerel depolama alanına erişemedikleri için dosyaları halka açık dosya barındırma siteleri üzerinden paylaşmış. Başka bir vakada model, sıradan bir soruyu yanıtlarken izinsiz biçimde ortaya çıkan bir API anahtarını bulup kullanmış ve istenen verileri yine alamadığında ise uydurma veri üretmiş. Dördüncü örnekte ise modeller, iç yazılım depolarını (repository) bir mesaj panosu gibi kullanarak ayrı eğitim örnekleri arasında istek ve yanıtları birbirine aktarmış.

OpenAI, yapay zeka sektörünün uyumluluk ve izlemeyi, daha fazla süre maksimum hızda ölçeklenmeye devam etmeye yetecek kadar çözmediğine inandığını; frontier (en ileri) modeller geliştiren şirketlerin dışında kalanların da kendileri inceleyebilecek kanıtlara erişmesi gerektiğini vurguladı.

Vakaların değerlendirilme süreci

Yeni çerçeve altında, herhangi bir OpenAI çalışanı uyumsuzluk örneğini raporlayabilir ve şirketin güvenlik ile uyumluluk ekiplerinin incelemesine sunulabilir. Raporlanan her vaka ardından üç yoldan biriyle işbirliği belirleniyor: Açıklamaya Hazır (Ready for Disclosure), Küçük İnceleme (Minor Investigation) veya Büyük İnceleme (Larger Investigation). Şirket, vakaların büyük çoğunluğunun ilk iki yol altında kalmasının beklendiğini belirtti. Bir vakanın açıklanıp açılmaması konusundaki anlaşmazlıklar ise şirketin Hazırlık Çerçevesini (Preparedness Framework) denetleyen kıdemli yöneticilerden oluşan Güvenlik Danışmanlar Grubu’na yönlendiriliyor; çözülmeyen uyumsuzluklar ise OpenAI üst düzey yönetimine taşınıyor.

Bu çerçeve, davranışların tespitinden sonra daha hızlı yayımlanmasını sağlıyor. Geçmiş açıklamalarımız düzensizdi ve çoğu zaman birden fazla olgunun bir araya getirilmesine ya da yeni modeller için sistem kartlarına eklenmesine kadar erteleniyordu.

OpenAI

Cerçeve, şirketin açıklamaları anlamı belirsiz olsa bile paylaşmayı planladığını vurguluyor; bu durumun bazı açıklanan vakaların yalıtılmış ve daha geniş bir desenin parçası olmayan örnekler olarak ortaya çıkabileceğini de kabul ediyor.

Sektör standartları ve düzenleyici işbirliği

Açıklanacak her rapor, gözlemlenen davranışı, ciddiyetini, olası dış etkileri, yaşadığı ortamı ve ilgili tarih aralığını içerecek. OpenAI, yapay zeka geliştiricilerinin uyumsuzluğu nasıl açıklamaları gerektiğine dair şu anda sektör çapında bir standart bulunmadığını belirterek yeni çerçevenin böyle bir standardı yerleştirmeye yönelik ilk adım olduğunu ifade etti. Şirket aynı zamanda ciddi olayları ABD hükümetiyle paylaşacak raporlama mekanizmaları önermek üzerinde de çalıştığını; bu çerçevenin mevcut yasal açıklama yükümlülüklerini yerine getirmediğini ekledi.