Yapay zekâ çağında şirketlerin karşı karşıya olduğu temel mesele, makinelerin insanlardan daha iyi karar verip veremeyeceği değildir. Asıl mesele, hangi kararların veri ve algoritmalarla desteklenebileceğini, hangilerinin belirli sınırlar içinde otomatikleştirilebileceğini ve hangilerinde insan muhakemesinin, kurumsal sorumluluğun ve stratejik değerlendirmenin belirleyici olması gerektiğini anlamaktır. Karar zekâsı, yalnızca daha gelişmiş analitik modeller kullanmak değil; kararların nasıl üretildiğini, kim tarafından verildiğini, hangi kanıtlara dayandığını ve hangi iş sonuçlarını oluşturduğunu yeniden tasarlamaktır.
Yapay Zekâ Çağında Asıl Rekabet Karar Kalitesinde Yaşanacak
Kurumsal dönüşüm alanında uzun yıllardır üzerinde durduğum konulardan biri, şirketlerin teknolojik kapasiteleri ile karar verme yetkinlikleri arasındaki ilişkidir. Bir organizasyonun gelişmiş ERP sistemlerine, kapsamlı veri platformlarına, güçlü analitik araçlara ve otomasyon çözümlerine sahip olması, bu organizasyonun mutlaka doğru kararlar aldığı anlamına gelmez. Teknoloji bilgiye erişimi kolaylaştırabilir, süreçleri hızlandırabilir ve görünürlüğü artırabilir; ancak hangi bilginin önemli olduğuna, hangi riskin kabul edileceğine veya hangi fırsatın önceliklendirileceğine ilişkin sorunlar yalnızca teknoloji yatırımlarıyla ortadan kalkmaz.
Bugün yapay zekâ ile birlikte bu ilişkinin yeni bir aşamaya geçtiğimizi düşünüyorum.
Geçmişte kurumsal bilgi sistemleri büyük ölçüde gerçekleşmiş faaliyetleri kaydetmeye ve raporlamaya odaklanıyordu. İş zekâsı uygulamaları bu verileri anlamlandırmayı kolaylaştırdı. Tahmine dayalı analitik yöntemler, belirli sonuçların gerçekleşme olasılığını değerlendirmeyi mümkün hâle getirdi. Üretken yapay zekâ ise bilgi kaynaklarını yorumlama, alternatifleri açıklama ve karmaşık konularda değerlendirme hazırlama kapasitesini genişletti.
Şimdi yapay zekâ ajanlarıyla birlikte farklı bir soruyla karşı karşıyayız: Bir sistem yalnızca karar vermemize yardımcı olmakla kalmayıp belirli kararları kendisi uygulayabiliyorsa, insan ile model arasındaki yetki sınırını nasıl belirlemeliyiz?
Bu sorunun teknoloji yönetiminden çok daha geniş bir anlamı bulunuyor.
Çünkü kurumsal kararlar yalnızca verilerin matematiksel olarak değerlendirilmesiyle oluşmaz. Kararların arkasında stratejik öncelikler, ticari ilişkiler, etik sorumluluklar, düzenleyici yükümlülükler, kurumsal risk iştahı ve geleceğe ilişkin varsayımlar vardır. Bazı kararlar açık kurallarla tanımlanabilirken bazıları belirsizlik altında değerlendirme yapmayı gerektirir. Bazı kararların sonuçları kolayca düzeltilebilirken bazıları uzun yıllar etkisini sürdürebilir.
Benim açımdan yapay zekâ çağında kurumsal rekabetin önemli boyutlarından biri, daha fazla veriye sahip olmaktan veya daha fazla yapay zekâ modeli kullanmaktan ziyade, doğru kararın doğru zamanda, doğru yetkiyle ve yeterli kanıta dayanarak alınmasını sağlayan bir organizasyon mimarisi kurabilmek olacaktır.
Bu nedenle karar zekâsını, geleceğin işletme modelinin temel bileşenlerinden biri olarak değerlendiriyorum.
Karar Zekâsı Nedir ve Neden İş Zekâsından Farklıdır?
Karar zekâsı, farklı disiplinlerde değişen kapsamlarla kullanılan bir kavramdır. Kurumsal yönetim açısından ele aldığımda, kararların tasarlanması, bilgiyle desteklenmesi, uygulanması, izlenmesi ve sonuçlarından öğrenilmesi için oluşturulan sistematik yaklaşımı ifade eder.
İş zekâsı uygulamaları çoğunlukla ne olduğunu ve belirli koşullarda neden gerçekleştiğini anlamamıza yardımcı olur. Tahmine dayalı analitik, gelecekte neler olabileceğine ilişkin olasılıklar üretir. Optimizasyon yöntemleri ise tanımlanmış hedefler ve kısıtlar altında uygun seçeneklerin belirlenmesini destekleyebilir.
Karar zekâsı bu yeteneklerden yararlanabilir; ancak yalnızca bunlardan oluşmaz.
Bir yöneticinin önünde üç farklı yatırım seçeneği bulunduğunu düşünelim. Analitik sistemler bu seçeneklerin maliyetlerini, beklenen getirilerini, risklerini ve kaynak ihtiyaçlarını karşılaştırabilir. Yapay zekâ farklı senaryolar hazırlayabilir, önemli varsayımları sorgulayabilir ve alternatiflerin olası sonuçlarını değerlendirebilir.
Ancak şirketin hangi stratejik yöne ilerlemek istediği, hangi riskleri üstlenmeye hazır olduğu veya hangi fırsatların uzun vadeli konumlanmasıyla daha uyumlu olduğu yalnızca matematiksel optimizasyon problemi değildir.
Bu tür kararlar, veriye dayalı değerlendirmelerle birlikte kurumsal amaçların ve yönetim sorumluluğunun dikkate alınmasını gerektirir.
Dolayısıyla karar zekâsını, yapay zekânın insanın yerine karar vermesi olarak tanımlamıyorum.
Benim için karar zekâsı, insan muhakemesinin ve hesap verebilirliğinin korunduğu, modellerin ise uygun görevlerde karar kalitesini ve karar süreçlerinin etkinliğini artırmak amacıyla kullanıldığı bütünleşik bir yönetim yaklaşımıdır.
Bu yaklaşımın önemli bir özelliği, kararın yalnızca verildiği ana odaklanmamasıdır.
Kararın nasıl hazırlandığı, hangi alternatiflerin değerlendirildiği, hangi varsayımların kullanıldığı, uygulamanın nasıl gerçekleştirildiği ve ortaya çıkan sonuçların sonraki kararlara nasıl yansıtıldığı da sistemin parçasıdır.
Bence kurumsal karar verme yetkinliğinin gelişmesi, tek tek daha iyi analizler üretmekten çok, organizasyonun karar süreçlerinden sistematik biçimde öğrenebilmesine bağlıdır.
İnsan ve Yapay Zekâ Aynı Tür Kararları mı Verir?
İnsan ile yapay zekâ arasındaki karar sınırını belirlemek için öncelikle bu iki aktörün yeteneklerini ve sınırlılıklarını doğru anlamamız gerekiyor.
Yapay zekâ sistemleri büyük miktarda veriyi işleyebilir, belirli örüntüleri tespit edebilir, açık kurallara göre seçenekleri karşılaştırabilir ve uygun koşullarda tahmin veya optimizasyon gerçekleştirebilir. Bazı görevlerde bu yetenekler, insanların sınırlı zaman ve dikkat kapasitesine kıyasla önemli avantajlar sağlayabilir.
Ancak bir modelin belirli bir değerlendirmede yüksek doğruluk göstermesi, bütün karar bağlamlarında güvenilir olduğu anlamına gelmez.
Modelin performansı kullanılan veriye, problemin tanımına, değerlendirme yöntemine ve gerçek kullanım koşullarına bağlıdır. Geçmiş verilerde iyi sonuç veren bir model, koşullar değiştiğinde aynı başarıyı göstermeyebilir. Ayrıca bir modelin belirli bir hedefi optimize etmesi, o hedefin kurumsal açıdan doğru tanımlandığını garanti etmez.
İnsan muhakemesi ise farklı güçlü ve zayıf yönlere sahiptir.
İnsanlar kurumsal amaçları yorumlayabilir, değerler arasında tercih yapabilir, ticari ilişkileri değerlendirebilir ve henüz yeterli verinin bulunmadığı durumlarda bağlamsal bilgi kullanabilir. Buna karşılık insanlar da bilişsel yanlılıklardan, yorgunluktan, aşırı özgüvenden ve eksik bilgiden etkilenebilir.
Bu nedenle insanı her durumda daha güvenilir, modeli ise yalnızca yardımcı bir unsur olarak görmek de doğru değildir.
Bazı açık ve tekrarlı karar problemlerinde uygun biçimde geliştirilmiş ve doğrulanmış modeller, insan kararlarından daha tutarlı sonuçlar üretebilir. Bazı yüksek belirsizlikli, stratejik veya değer yargısı gerektiren konularda ise insan değerlendirmesi belirleyici olmaya devam edebilir.
Benim açımdan temel soru, insanın mı yoksa modelin mi genel olarak daha iyi karar verdiği değildir.
Asıl soru, belirli bir kararın hangi özelliklerinin insan muhakemesini, hangilerinin model tabanlı değerlendirmeyi ve hangilerinin her ikisinin birlikte kullanılmasını gerektirdiğidir.
Bu ayrım yapılmadan geliştirilen yapay zekâ uygulamalarında, teknolojinin güçlü olduğu alanlar yeterince değerlendirilemeyebilir veya modelin uygun olmadığı kararlar gereğinden fazla otomatikleştirilebilir.
Kararların Sınırını Belirleyen İlk Unsur: Kararın Niteliği
Kurumsal kararları tek bir kategori altında değerlendirmeyi doğru bulmuyorum. Bir organizasyonda her gün verilen binlerce kararın riskleri, belirsizlikleri, etkileri ve tekrar sıklıkları birbirinden farklıdır.
Örneğin bir müşteri talebinin hangi hizmet kategorisine yönlendirileceğiyle şirketin yeni bir pazara girip girmeyeceği aynı tür karar değildir.
Bir stok seviyesinin önceden belirlenmiş sınırlar içinde güncellenmesiyle stratejik bir tedarikçiyle uzun vadeli sözleşme yapılması da aynı kontrol yaklaşımını gerektirmez.
Bu nedenle insan ve model kararlarının sınırını belirlerken öncelikle kararın yapısını anlamak gerektiğini düşünüyorum.
Karar ne kadar sık tekrarlanıyor? Değerlendirme kriterleri ne kadar açık? Güvenilir veri mevcut mu? Hatalı kararın olası etkisi nedir? Karar geri alınabilir mi? Karar kişilerin haklarını veya önemli kurumsal taahhütleri etkiliyor mu? Karar verilirken değerler arasında tercih yapmak gerekiyor mu?
Bu soruların yanıtları, uygun karar mekanizmasının belirlenmesine yardımcı olabilir.
Örneğin açık kurallara dayanan, düşük riskli ve kolayca düzeltilebilen bir kararın otomatikleştirilmesi uygun olabilir.
Buna karşılık yüksek finansal etki oluşturan, geri döndürülmesi zor veya önemli stratejik sonuçlar doğuran kararlar daha güçlü insan değerlendirmesi gerektirebilir.
Ancak burada önemli bir noktayı özellikle vurgulamak isterim.
Bir kararın stratejik olarak tanımlanması, yapay zekânın o karara katkı sağlayamayacağı anlamına gelmez. Aynı şekilde bir kararın operasyonel olması da otomatikleştirilmesinin her zaman güvenli olduğu anlamına gelmez.
Dolayısıyla kararın organizasyon hiyerarşisindeki yeriyle otomasyon için uygunluğu birbirinden ayrı değerlendirilmelidir.
Stratejik, Taktik ve Operasyonel Kararlarda Yapay Zekânın Rolü
Kurumsal yönetimde kararlar sıklıkla stratejik, taktik ve operasyonel düzeylerde ele alınır. Bu ayrım, yapay zekâ ile insan arasındaki karar yetkilerinin tasarlanması açısından yararlı bir başlangıç noktası sağlayabilir.
Stratejik kararlar, organizasyonun uzun vadeli yönünü ve kaynaklarının temel dağılımını etkiler. Yeni pazarlara giriş, iş modeli değişiklikleri, büyük teknoloji yatırımları veya şirketin rekabet stratejisine ilişkin tercihler bu kapsamda değerlendirilebilir.
Yapay zekâ bu kararlarda alternatif senaryoların oluşturulmasına, pazar verilerinin analizine, risklerin görünür hâle getirilmesine ve varsayımların karşılaştırılmasına katkı sağlayabilir.
Ancak stratejik kararların nihai sorumluluğu, ilgili yönetim organları ve yetkili kişilerde kalmalıdır. Bunun nedeni yapay zekânın hiçbir stratejik analiz yapamaması değil; stratejik tercihin şirketin amaçları, yükümlülükleri ve kabul edeceği sonuçlarla doğrudan ilişkili olmasıdır.
Taktik kararlar, stratejik hedeflerin uygulanmasına yönelik kaynak ve öncelik düzenlemelerini kapsar. Proje portföyünün dengelenmesi, departman kapasitesinin planlanması veya belirli yatırım alternatiflerinin karşılaştırılması bu düzeyde ele alınabilir.
Bu kararlarda yapay zekâ modelleri önemli analiz ve optimizasyon desteği sağlayabilir. Ancak kararın etkisine göre insan onayı veya belirli yetki sınırları gerekebilir.
Operasyonel kararlar ise günlük işleyişin sürdürülmesiyle ilgilidir. Standart taleplerin sınıflandırılması, belirli işlerin yönlendirilmesi, rutin veri kontrolleri veya önceden tanımlanmış kurallara göre işlem yapılması bu kapsama girebilir.
Bu tür kararların bir bölümü uygun teknik ve yönetsel kontrollerle otomatik yürütülebilir.
Ancak operasyonel kararların düşük riskli olduğu varsayılmamalıdır. Örneğin günlük bir ödeme işlemi, kritik sistem yetkisi değişikliği veya kişisel verileri etkileyen otomatik bir değerlendirme önemli sonuçlar doğurabilir.
Bu nedenle stratejik, taktik ve operasyonel ayrımını karar yetkisi için tek başına yeterli görmüyorum.
Benim önerim, bu ayrımın risk, belirsizlik, geri döndürülebilirlik ve hesap verebilirlik değerlendirmeleriyle birlikte kullanılmasıdır.
Tahmin Yapmak ile Karar Vermek Aynı Şey Değildir
Karar zekâsı konusunda en önemli kavramsal ayrımlardan birinin tahmin ile karar arasındaki fark olduğunu düşünüyorum.
Bir yapay zekâ modeli belirli bir müşterinin sözleşmesini yenilememe olasılığını tahmin edebilir. Ancak bu tahmin, müşteriye hangi teklifin sunulması gerektiğini tek başına belirlemez.
Benzer biçimde bir model, bir projenin gecikme olasılığının yüksek olduğunu öngörebilir. Ancak hangi kaynakların yeniden tahsis edileceği, hangi faaliyetlerin önceliklendirileceği veya müşteriye hangi taahhüdün verileceği farklı bir değerlendirme gerektirir.
Tahmin, belirli koşullarda ne olabileceğine ilişkin bilgi sağlar.
Karar ise alternatif eylemler arasından seçim yapılmasını gerektirir.
Bu seçimde yalnızca gerçekleşme olasılıkları değil, eylemlerin maliyetleri, beklenen faydaları, riskleri, kısıtları ve kurumsal amaçları da önemlidir.
Örneğin iki projenin de gecikme riski yüksek olabilir. Ancak bu projelerden birinin müşteri sözleşmesi açısından kritik olması, diğerinin ise daha kolay yeniden planlanabilmesi farklı müdahale kararları gerektirebilir.
Bu nedenle yapay zekâ sistemlerinin ürettiği tahminlerin doğrudan karar yetkisi olarak yorumlanmasını doğru bulmuyorum.
Bir tahmin modelinin başarılı olması, onun önerdiği eylemlerin de otomatik olarak doğru olduğu anlamına gelmez.
Karar zekâsının değeri, tahminleri uygun karar modelleriyle ve kurumsal hedeflerle ilişkilendirebilmesinde ortaya çıkar.
Modelin Doğruluğu Kararın Doğruluğunu Garanti Etmez
Kurumsal yapay zekâ projelerinde model performansı çoğu zaman doğruluk, hata oranı veya benzeri teknik göstergeler üzerinden değerlendirilir.
Bu göstergeler önemlidir; ancak karar kalitesini tek başına açıklamaz.
Bir modelin geçmiş veriler üzerinde yüksek performans göstermesi, gerçek kullanım koşullarında aynı sonuçları üreteceğini garanti etmez. Verilerin niteliği değişebilir, müşteri davranışları farklılaşabilir veya modelin geliştirilmesi sırasında dikkate alınmayan koşullar ortaya çıkabilir.
Daha önemlisi, modelin optimize ettiği hedef ile organizasyonun gerçekten ulaşmak istediği sonuç arasında fark bulunabilir.
Örneğin bir müşteri hizmetleri sisteminin yalnızca ortalama işlem süresini azaltmak üzere tasarlandığını düşünelim.
Model, talepleri mümkün olduğunca hızlı kapatmaya odaklanabilir. Ancak müşteri sorunlarının gerçekten çözülüp çözülmediği yeterince değerlendirilmezse, teknik performans göstergelerinde iyileşme görülürken müşteri deneyimi olumsuz etkilenebilir.
Benzer şekilde bir proje portföyü optimizasyon modeli, kaynak kullanımını artırmayı hedefleyebilir. Ancak çalışanların aşırı yüklenmesi, stratejik öncelikler veya kritik yetkinliklerin korunması gibi unsurlar uygun biçimde modele dahil edilmezse, önerilen sonuç kurumsal açıdan istenmeyen etkiler oluşturabilir.
Bu nedenle karar zekâsı tasarımında yalnızca modelin ne kadar doğru tahmin yaptığına değil, hangi hedefi optimize ettiğine ve bu hedefin iş değeriyle nasıl ilişkilendirildiğine de bakılması gerekir.
Benim açımdan burada önemli bir yönetim sorumluluğu bulunuyor.
Modelin matematiksel hedefini belirlemek teknik bir faaliyet olabilir; ancak hangi iş sonucunun değerli olduğu, hangi risklerin kabul edileceği ve hangi kısıtların korunacağı kurumsal yönetim tarafından tanımlanmalıdır.
Bu ayrım yapılmadığında şirketler, teknik açıdan başarılı fakat iş açısından yanlış hedeflere yönelen sistemler geliştirebilir.
Karar Yetkisini Modele Devretmek Ne Anlama Gelir?
Yapay zekâ ajanlarının kurumsal sistemlerde işlem gerçekleştirebilmesiyle birlikte karar yetkisi konusu daha somut hâle geliyor.
Bir modelin öneri üretmesiyle öneriyi otomatik uygulaması arasında önemli bir fark vardır.
Örneğin bir yapay zekâ ajanı, belirli bir satın alma talebinin mevcut sözleşme koşullarına uygun olduğunu değerlendirebilir. Bu değerlendirmeyi insan uzmana sunması bir karar desteği uygulamasıdır.
Aynı ajan, önceden tanımlanmış koşullar altında satın alma siparişini otomatik oluşturup onaylı iş akışında ilerletebiliyorsa, operasyonel yetki kullanmaktadır.
Burada karar yetkisinin modele devredilmesi ifadesini dikkatli kullanmak gerektiğini düşünüyorum.
Kurumsal açıdan bir yapay zekâ sisteminin işlem gerçekleştirmesine izin verilmesi, hukuki veya yönetsel hesap verebilirliğin modele aktarıldığı anlamına gelmez.
Sistem belirli işlemleri otomatik gerçekleştirebilir; ancak hangi işlemleri gerçekleştirmesine izin verileceği ve bu yetkinin hangi koşullarda kullanılacağı sorumlu insanlar ve kurum tarafından belirlenmelidir.
Bu nedenle model yetkilerini açık biçimde sınırlandırmak gerekir.
Hangi veriler kullanılabilir? Hangi karar kuralları uygulanabilir? Hangi işlem tutarları otomatik gerçekleştirilebilir? Hangi koşullarda işlem durdurulmalıdır? Hangi durumlarda insan onayı zorunludur?
Bu soruların yanıtları yalnızca yapay zekâya verilen doğal dil talimatlarıyla korunmamalıdır.
Özellikle yüksek etkili işlemlerde yetki sınırlarının mümkün olduğunca sistem düzeyinde uygulanması, erişim izinleriyle desteklenmesi ve bağımsız kontrol mekanizmalarıyla doğrulanması gerekir.
Çünkü güvenilir bir karar mimarisi, modelin her zaman doğru davranacağı varsayımı üzerine kurulamaz.
İnsan ve Model Arasında Dört Karar Çalışma Biçimi
Karar zekâsını kurumsal süreçlere uyarlarken farklı karar çalışma biçimlerinin tanımlanmasını yararlı buluyorum.
İlk çalışma biçimi, insan kararı ve model desteğidir. Model analiz, tahmin veya alternatif önerileri üretir; ancak nihai karar yetkili insana aittir. Stratejik yatırımlar, önemli ticari taahhütler ve yüksek belirsizlik içeren yönetim kararlarında bu yaklaşım uygun olabilir.
İkinci çalışma biçimi, model önerisi ve insan onayıdır. Sistem belirli kriterlere göre bir karar önerisi hazırlar ve işlem, insan onayından sonra gerçekleştirilir. Bu yaklaşım, kararın standartlaştırılabildiği ancak etkisi nedeniyle insan değerlendirmesinin gerekli görüldüğü süreçlerde kullanılabilir.
Üçüncü çalışma biçimi, sınırlandırılmış otomatik karardır. Sistem, önceden belirlenmiş kurallar ve yetkiler içinde belirli kararları otomatik uygulayabilir. Düşük riskli, tekrarlı ve sonuçları kontrol edilebilir işlemler bu kapsamda değerlendirilebilir.
Dördüncü çalışma biçimi ise istisna temelli insan gözetimidir. Sistem normal koşullarda otomatik çalışır; ancak belirli belirsizlikler, risk göstergeleri veya yetki sınırı ihlalleri ortaya çıktığında karar insana yönlendirilir.
Bu dört çalışma biçimini birbirini izleyen zorunlu olgunluk aşamaları olarak görmüyorum.
Aynı organizasyonda farklı kararlar için farklı yaklaşımlar kullanılabilir. Hatta tek bir iş sürecinde bu modeller birlikte bulunabilir.
Örneğin bir satış operasyonunda müşteri talepleri otomatik sınıflandırılabilir, standart teklif bileşenleri sistem tarafından hazırlanabilir, ticari istisnalar insan uzmanına yönlendirilebilir ve önemli sözleşme koşulları yetkili yönetici tarafından onaylanabilir.
Bu nedenle karar zekâsı mimarisinde hedefin bütün kararları otomatikleştirmek değil, her karar için uygun çalışma biçimini belirlemek olması gerektiğine inanıyorum.
Karar Mimarisinin Merkezinde Risk ve Geri Döndürülebilirlik Bulunmalı
İnsan ile model arasındaki karar sınırını belirlerken özellikle iki kavrama önem veriyorum: kararın olası etkisi ve geri döndürülebilirliği.
Bir kararın yanlış verilmesi durumunda ortaya çıkabilecek sonuçlar sınırlıysa ve işlem kolayca düzeltilebiliyorsa, uygun koşullarda otomasyon daha rahat değerlendirilebilir.
Buna karşılık hatalı karar önemli finansal kayıplara, hukuki sonuçlara, güvenlik sorunlarına veya kişilerin haklarının etkilenmesine neden olabilecekse, daha güçlü kontrol mekanizmaları gerekebilir.
Örneğin bir proje raporunun başlığının yanlış sınıflandırılmasıyla canlı ERP ortamında önemli bir finansal kaydın hatalı değiştirilmesi aynı risk düzeyinde değildir.
Ancak yalnızca tek bir işlemin etkisini değerlendirmek de yeterli olmayabilir.
Düşük riskli görünen bir kararın çok yüksek hacimde tekrarlanması, toplam etkiyi büyütebilir. Bir müşteri talebinin yanlış yönlendirilmesi tek başına sınırlı bir sorun oluşturabilirken, sistematik olarak çok sayıda müşterinin yanlış yönlendirilmesi önemli operasyonel ve itibari sonuçlar doğurabilir.
Bu nedenle karar riskinin hem işlem bazında hem de toplam süreç etkisi açısından değerlendirilmesi gerektiğini düşünüyorum.
Ayrıca kararın geri alınabilir olması, her zaman sonuçlarının tamamen ortadan kaldırılabileceği anlamına gelmez.
Yanlış gönderilen bir müşteri mesajı sistem kayıtlarından silinebilir; ancak müşteri üzerinde oluşturduğu etkiyi tamamen geri almak mümkün olmayabilir.
Bu nedenle geri döndürülebilirlik değerlendirmesinin yalnızca teknik işlem düzeyinde değil, gerçek iş sonuçları üzerinden yapılması gerekir.
Karar Zekâsında Belirsizlik Nasıl Yönetilmeli?
Kurumsal kararların önemli bir bölümü eksik bilgi ve belirsizlik altında verilir.
Yapay zekâ modelleri belirli koşullarda olasılık tahminleri veya güvenilirlik göstergeleri üretebilir. Ancak her model çıktısının yanında görülen sayısal değerin, kararın gerçekten doğru olma olasılığını gösterdiği varsayılmamalıdır.
Özellikle üretken yapay zekâ sistemlerinde çıktıların güvenilirliğini değerlendirmek, yalnızca modelin ürettiği ifadeye veya öznel güven beyanına dayanamaz.
Bu nedenle karar zekâsı sistemlerinde belirsizliğin uygun yöntemlerle değerlendirilmesi gerekir.
Örneğin tahmin modellerinde kalibrasyon, farklı veri kümelerinde performans testi ve koşullar değiştiğinde hata davranışının izlenmesi önemlidir.
Üretken yapay zekâ uygulamalarında ise kaynak doğrulama, bağımsız kontrol, görev bazlı değerlendirme ve gerektiğinde insan incelemesi gibi mekanizmalar kullanılabilir.
Ancak bu yöntemlerin her biri belirli sınırlılıklara sahiptir.
Benim açımdan önemli olan, sistemin her durumda kesin bir yanıt üretmesini beklemek değildir.
Bazı durumlarda karar vermemek, ek bilgi istemek veya konuyu yetkili insana yönlendirmek daha uygun olabilir.
Bu nedenle karar zekâsı mimarisinde yalnızca hangi kararın verileceği değil, hangi koşullarda kararın erteleneceği veya başka bir aktöre devredileceği de tanımlanmalıdır.
Bu yaklaşım, özellikle yapay zekâ ajanlarının birbirleriyle çalıştığı ve farklı kurumsal sistemlerde işlem gerçekleştirdiği ortamlarda daha fazla önem kazanır.
Karar Zekâsı ve Human-in-the-Loop Arasındaki İlişki
Human-in-the-Loop yaklaşımı, yapay zekâ sistemlerinin belirli aşamalarında insan değerlendirmesinin veya müdahalesinin bulunmasını ifade eder.
Ancak karar zekâsı açısından asıl mesele, iş akışına bir insan onayı eklemekten daha kapsamlıdır.
Önemli olan, insanın hangi kararda neden bulunması gerektiğinin açıklanabilmesidir.
Bir işlemin sonunda yalnızca onay düğmesi bulunması, etkili insan gözetimi sağlandığı anlamına gelmez.
Onay veren kişi kullanılan bilgileri göremiyorsa, önemli varsayımları değerlendiremiyorsa veya işlemi reddetme yetkisi fiilen bulunmuyorsa, onay mekanizması biçimsel bir kontrole dönüşebilir.
Ayrıca insanların otomatik sistemlerin önerilerine gereğinden fazla güvenebildiğini gösteren insan–otomasyon etkileşimi araştırmaları da bulunmaktadır.
Bu nedenle insan onayının her zaman hataları önleyeceği varsayılmamalıdır.
Benim açımdan etkili insan gözetimi için kararın anlaşılabilir olması, gerekli bilgilerin sunulması, müdahale yetkisinin bulunması ve kontrolü gerçekleştiren kişinin yeterli değerlendirme kapasitesine sahip olması gerekir.
Bazı düşük riskli işlemlerde ise her karar için insan onayı yerine otomatik kontroller, örnekleme yoluyla denetim veya istisna yönetimi daha uygun olabilir.
Dolayısıyla Human-in-the-Loop tasarımı, karar zekâsı mimarisinin önemli bir parçasıdır; ancak tek başına bütün karar yönetişimini oluşturmaz.
Karar Zekâsı PMO'yu Nasıl Değiştirebilir?
Proje yönetim ofislerinin geleceği açısından karar zekâsının önemli bir fırsat sunduğunu düşünüyorum.
Geleneksel PMO yapılarında önemli miktarda zaman proje verilerinin toplanmasına, raporların hazırlanmasına, durum göstergelerinin güncellenmesine ve yöneticilere bilgi sunulmasına ayrılabilir.
Bu faaliyetler gerekli olmakla birlikte, PMO'nun kuruma sağladığı değerin yalnızca rapor üretimiyle ölçülmesini doğru bulmuyorum.
Benim açımdan PMO'nun daha önemli rolü, yöneticilerin doğru kararları zamanında almasını sağlayacak bilgi ve yönetişim yapısını oluşturmaktır.
Yapay zekâ bu dönüşümü destekleyebilir.
Örneğin bir karar zekâsı sistemi, proje portföyündeki gecikme göstergelerini analiz edebilir, kaynak çakışmalarını belirleyebilir, bütçe sapmalarını görünür hâle getirebilir ve farklı müdahale seçeneklerinin olası sonuçlarını değerlendirebilir.
Ancak bu analizlerin değeri, yalnızca daha ayrıntılı raporlar oluşturulmasıyla sınırlı kalmamalıdır.
Sistem hangi konuların gerçekten yönetim kararı gerektirdiğini, hangi kararların geciktiğini ve hangi seçeneklerin değerlendirilmesi gerektiğini de görünür hâle getirebilmelidir.
Örneğin bir projede kaynak sorunu tespit edildiğinde yalnızca sorunu raporlamak yerine, alternatif kaynak dağılımlarının maliyet, teslimat ve risk etkilerini karşılaştırmak karar kalitesine katkı sağlayabilir.
Ancak hangi projenin öncelikli olduğu, hangi müşteri taahhüdünün korunacağı veya hangi riskin kabul edileceği kurumsal yetki yapısına bağlıdır.
Bu nedenle AI-Enabled PMO yaklaşımında karar zekâsını, yöneticilerin yerine karar veren bir mekanizma olarak değil, karar süreçlerini daha sistematik ve kanıta dayalı hâle getiren bir yetkinlik olarak görüyorum.
Bence PMO'nun gelecekteki değer önerilerinden biri, raporlama merkezinden kurumsal karar istihbaratı merkezine dönüşebilmesidir.
SAP ve ERP Sistemlerinde Karar Zekâsı
SAP ve ERP ortamlarında karar zekâsının uygulanması, operasyonel verilerin ve iş süreçlerinin birbirine bağlı olması nedeniyle önemli fırsatlar sunabilir.
Kurumsal ERP sistemleri finans, satın alma, üretim, satış ve stok yönetimi gibi alanlarda kararları destekleyen önemli veriler içerir.
Ancak bu verilerin bulunması, kararların otomatik olarak doğru verildiği anlamına gelmez.
Örneğin bir satın alma sürecinde sistem mevcut stok seviyelerini, geçmiş tüketim bilgilerini, tedarik sürelerini ve sipariş koşullarını değerlendirebilir.
Tahmin modelleri gelecekteki talep hakkında bilgi sağlayabilir. Optimizasyon yöntemleri belirli kısıtlar altında uygun sipariş miktarlarını önerebilir.
Ancak beklenmeyen tedarik sorunları, stratejik müşteri talepleri veya ticari ilişkiler gibi faktörler kararın bağlamını değiştirebilir.
Bu nedenle ERP süreçlerinde karar zekâsının, mevcut iş kuralları ve yetki mekanizmalarıyla birlikte tasarlanması gerektiğini düşünüyorum.
Özellikle finansal kayıtlar, ödeme işlemleri, kritik ana veri değişiklikleri ve yetki yönetimi gibi alanlarda model önerileriyle sistem işlemlerinin birbirinden ayrılması önemlidir.
Bir yapay zekâ ajanı belirli bir tutarsızlığı tespit edebilir ve düzeltme önerisi hazırlayabilir. Ancak düzeltmenin otomatik gerçekleştirilip gerçekleştirilemeyeceği, işlemin riskine ve kurumsal kontrol gereksinimlerine bağlıdır.
Benzer biçimde SAP dönüşüm projelerinde yapay zekâ, veri migrasyonu risklerinin değerlendirilmesine, test sonuçlarının sınıflandırılmasına veya canlıya geçiş hazırlıklarının analizine katkı sağlayabilir.
Ancak canlıya geçiş kararı yalnızca teknik kontrol listesinin tamamlanmasına indirgenemez.
İş sürekliliği, operasyonel hazırlık, veri doğruluğu, kritik süreçlerin durumu ve kabul edilebilir risk düzeyi birlikte değerlendirilmelidir.
Bu nedenle ERP ortamlarında karar zekâsını, teknik analitik yeteneklerle kurumsal karar yönetişiminin birlikte ele alınması gereken bir alan olarak görüyorum.
Kararların İzlenebilirliği Neden Önemli?
Kurumsal kararların önemli bir bölümü, verildiği anda belirli varsayımlara ve mevcut bilgilere dayanır.
Ancak zaman geçtikçe bu varsayımların hangi koşullarda oluşturulduğu unutulabilir. Kararın gerekçesi yeterince kaydedilmemişse, sonradan ortaya çıkan sonuçları değerlendirmek güçleşebilir.
Yapay zekâ sistemlerinin karar süreçlerine dahil olmasıyla birlikte bu sorun daha karmaşık hâle gelebilir.
Bir model farklı veri kaynaklarını kullanarak öneri oluşturabilir. Bir ajan bu öneriye dayanarak belirli bir işlem gerçekleştirebilir. Başka bir sistem ise bu işlemin sonucunu sonraki kararlarında kullanabilir.
Bu nedenle karar zekâsı mimarisinde izlenebilirliğin önemli bir tasarım ilkesi olması gerektiğini düşünüyorum.
Hangi kararın verildiği, hangi alternatiflerin değerlendirildiği, hangi bilgilerin kullanıldığı, hangi aktörün yetkili olduğu ve hangi işlemin gerçekleştirildiği uygun biçimde kaydedilmelidir.
Ancak burada bütün model iç süreçlerinin eksiksiz açıklanabileceği varsayılmamalıdır.
Özellikle karmaşık yapay zekâ modellerinde iç hesaplamaların tamamını insanlar için anlamlı ve eksiksiz biçimde açıklamak her zaman mümkün değildir.
Buna karşılık kullanılan veri kaynaklarının, model sürümlerinin, araç çağrılarının, yetki kontrollerinin ve gerçekleştirilen işlemlerin izlenmesi için uygun teknik mekanizmalar tasarlanabilir.
Bu kayıtların kapsamı belirlenirken bilgi güvenliği, kişisel veri koruma ve saklama gereksinimleri de dikkate alınmalıdır.
Benim açımdan kararların izlenebilirliği yalnızca denetim ihtiyacına hizmet etmez.
Aynı zamanda organizasyonun geçmiş kararlarından öğrenmesini sağlayabilecek önemli bir bilgi altyapısı oluşturur.
Karar Kalitesi Nasıl Ölçülmeli?
Karar zekâsı yatırımlarının başarısını yalnızca model doğruluğu veya otomatik karar sayısıyla ölçmeyi yeterli bulmuyorum.
Bir modelin yüksek doğruluk göstermesi, karar sürecinin kurumsal değer ürettiğini tek başına kanıtlamaz.
Benzer biçimde kararların daha hızlı verilmesi de her zaman daha iyi sonuçlar elde edildiği anlamına gelmez.
Bu nedenle karar kalitesinin farklı boyutlarda değerlendirilmesi gerektiğini düşünüyorum.
İlk boyut, karar sürecinin zamanında tamamlanmasıdır. Gerekli bilgiye ulaşmak ve uygun değerlendirmeyi gerçekleştirmek ne kadar sürüyor?
İkinci boyut, kararın dayandığı bilginin niteliğidir. Kullanılan veriler yeterince güncel, ilgili ve güvenilir mi? Önemli varsayımlar ve belirsizlikler görünür mü?
Üçüncü boyut, kararın kurumsal hedeflerle uyumudur. Verilen karar, tanımlanmış stratejik öncelikleri ve risk sınırlarını destekliyor mu?
Dördüncü boyut, kararın uygulanabilirliğidir. Seçilen alternatif mevcut kaynaklar, yetkinlikler ve operasyonel koşullar içinde gerçekleştirilebilir mi?
Beşinci boyut ise sonuçların değerlendirilmesidir. Karar sonrasında ne gerçekleşti? Beklenen fayda oluştu mu? Önemli riskler ortaya çıktı mı? Benzer kararlar için hangi dersler çıkarılabilir?
Ancak karar kalitesini yalnızca sonuca bakarak değerlendirmek de yanıltıcı olabilir.
Belirsizlik altında, mevcut bilgilerle makul biçimde verilmiş bir karar beklenmeyen dış koşullar nedeniyle olumsuz sonuçlanabilir. Buna karşılık yetersiz değerlendirmeyle alınmış bir karar tesadüfen başarılı olabilir.
Bu nedenle karar sürecinin kalitesiyle gerçekleşen sonucun ayrı, fakat ilişkili biçimde değerlendirilmesi gerekir.
Benim açımdan karar zekâsının önemli katkılarından biri, bu iki boyutu birlikte görünür hâle getirebilmesidir.
Karar Zekâsı İçin Yeni Bir Kurumsal Yönetişim Yaklaşımı
Yapay zekâ sistemlerinin karar süreçlerine daha fazla katılması, organizasyonlarda yeni yönetişim gereksinimleri oluşturabilir.
Geleneksel organizasyonlarda karar yetkileri çoğunlukla yönetim kademeleri, görev tanımları ve onay mekanizmaları üzerinden düzenlenir.
Ancak yapay zekâ ajanlarının belirli kararları otomatik uygulayabildiği ortamlarda, yalnızca insan rollerini gösteren bir yetki matrisi yeterli olmayabilir.
Hangi kararların model tarafından önerileceği, hangilerinin otomatik uygulanabileceği, hangi durumlarda insan onayı gerekeceği ve hangi işlemler için bağımsız kontrol mekanizmalarının kullanılacağı açık biçimde tanımlanmalıdır.
Bu nedenle karar zekâsı mimarisini insan–ajan sorumluluk matrisiyle birlikte ele almayı önemli buluyorum.
Ancak yapay zekâ ajanlarını hukuki sorumluluk taşıyan insan çalışanlarla tamamen eşdeğer roller olarak değerlendirmek doğru değildir.
Bir ajan belirli görevleri gerçekleştirebilir; ancak kurumsal hesap verebilirlik, yetkili insanlar ve ilgili yönetim yapıları üzerinden tanımlanmalıdır.
Bu nedenle süreç sahiplerinin, teknoloji ekiplerinin, risk ve uyum fonksiyonlarının ve üst yönetimin sorumlulukları birbirini tamamlayacak biçimde belirlenmelidir.
Ayrıca karar yetkilerinin bir kez tanımlanıp değişmeden kalacağı varsayılmamalıdır.
Model performansı, veri kalitesi, iş koşulları veya düzenleyici gereksinimler değiştiğinde karar yetkilerinin yeniden değerlendirilmesi gerekebilir.
Benim açımdan karar zekâsı yönetişimi, yalnızca başlangıçta hazırlanmış bir politika dokümanı değildir.
Kararların nasıl üretildiğini, uygulandığını, izlendiğini ve gerektiğinde düzeltildiğini sürekli yöneten bir işletme yetkinliğidir.
Karar Zekâsı Mimarisi Nasıl Kurulmalı?
Karar zekâsı geliştirmek isteyen şirketlerin doğrudan yapay zekâ modeli seçimiyle başlamalarını doğru bulmuyorum.
Öncelikle organizasyonun hangi kararları verdiğinin ve bu kararların iş sonuçlarını nasıl etkilediğinin anlaşılması gerekir.
Bir şirketin karar mimarisi, mevcut organizasyon şemasından daha farklı bir görünüm ortaya çıkarabilir.
Çünkü önemli kararlar çoğu zaman tek bir departmanın sınırları içinde oluşmaz.
Örneğin bir müşteri teklifinin hazırlanması satış, teknik çözüm, finans, hukuk ve operasyon ekiplerinin katkılarını gerektirebilir.
Benzer biçimde bir proje portföyü kararı strateji, finans, insan kaynakları ve operasyon fonksiyonlarını etkileyebilir.
Bu nedenle karar zekâsı tasarımında başlangıç noktasının, organizasyonun önemli değer akışları ve bu akışlar içindeki karar noktaları olması gerektiğini düşünüyorum.
İlk aşamada kritik kararlar belirlenmeli ve mevcut karar süreçleri incelenmelidir.
Ardından kararların hangi bilgilere dayandığı, hangi belirsizlikleri içerdiği, kim tarafından verildiği ve hangi sonuçları etkilediği değerlendirilmelidir.
Sonraki aşamada yapay zekânın uygun katkı biçimi belirlenmelidir.
Bazı kararlarda bilgi toplama ve analiz desteği yeterli olabilir. Bazılarında model önerileri insan onayıyla uygulanabilir. Düşük riskli ve standart kararların bir bölümü ise uygun kontrollerle otomatikleştirilebilir.
Daha sonra veri kaynakları, model değerlendirme yöntemleri, yetkilendirme mekanizmaları, insan gözetimi ve denetim kayıtları tasarlanmalıdır.
Ancak tasarımın yalnızca teknik olarak tamamlanması yeterli değildir.
Sistemin gerçek karar koşullarında nasıl davrandığı test edilmelidir.
Eksik veri, çelişkili bilgiler, beklenmeyen durumlar ve yanlış öneriler karşısında sistemin nasıl çalıştığı değerlendirilmelidir.
Son aşamada ise karar kalitesi, işlem süresi, hata etkisi ve iş değeri gibi göstergeler üzerinden sonuçlar ölçülmelidir.
Benim açımdan karar zekâsı, tek seferde tamamlanan bir teknoloji projesinden çok, sürekli gelişen bir kurumsal yetkinlik olarak ele alınmalıdır.
Geleceğin Yöneticisi Karar Veren mi, Karar Sistemini Tasarlayan mı Olacak?
Yapay zekâ sistemlerinin karar süreçlerine daha fazla katılmasıyla birlikte yöneticilerin rolünün de değişebileceğini düşünüyorum.
Geleneksel yönetim anlayışında yöneticiler çoğu zaman bilgi toplama, alternatifleri değerlendirme, karar verme ve uygulamayı kontrol etme faaliyetlerinin merkezinde bulunur.
Yapay zekâ destekli çalışma modellerinde ise bu faaliyetlerin bazıları dijital sistemler tarafından gerçekleştirilebilir.
Ancak bu durum yöneticilerin karar sorumluluğunun ortadan kalktığı anlamına gelmez.
Aksine hangi kararların hangi koşullarda otomatikleştirilebileceğini, hangi bilgilerin güvenilir kabul edileceğini, hangi risklerin üstlenilebileceğini ve hangi sonuçların değerli olduğunu belirlemek daha önemli hâle gelebilir.
Örneğin bir yönetici, standart operasyonel taleplerin tamamını tek tek değerlendirmek yerine, bu taleplerin hangi kurallarla yönetileceğini ve hangi istisnaların insan müdahalesi gerektireceğini tasarlayabilir.
Benzer biçimde bir portföy yöneticisi, bütün proje verilerini manuel olarak incelemek yerine, karar gerektiren konuları önceliklendiren ve alternatifleri karşılaştıran bir sistemden yararlanabilir.
Ancak bu dönüşümün kendiliğinden gerçekleşeceğini varsaymıyorum.
Yöneticilerin veri okuryazarlığı, yapay zekâ sistemlerinin sınırlılıklarını anlama, risk değerlendirme ve karar mimarisi tasarlama yetkinliklerini geliştirmeleri gerekebilir.
Benim açımdan geleceğin yöneticisinin önemli sorumluluklarından biri, yalnızca doğru kararları vermek değil, organizasyonun doğru kararları sistematik biçimde alabilmesini sağlayan yapıyı kurmak olacaktır.
Bu nedenle karar zekâsını yönetici rollerini ortadan kaldıran bir teknoloji olarak değil, yönetimin niteliğini yeniden tanımlayabilecek bir dönüşüm alanı olarak görüyorum.
Karar Zekâsı Geleceğin İşletme Modelinde Nereye Oturuyor?
Geleceğin işletme modelini değerlendirirken insan, süreç, teknoloji, veri ve yönetişim bileşenlerinin birbirinden bağımsız ele alınmasını doğru bulmuyorum.
Bir organizasyonun nasıl çalıştığını belirleyen temel unsurlardan biri, kararların nasıl alındığıdır.
Hangi müşteri taleplerinin önceliklendirileceği, hangi projelere yatırım yapılacağı, hangi risklerin kabul edileceği, hangi kaynakların nasıl dağıtılacağı ve hangi süreçlerin değiştirileceği gibi kararlar, işletmenin günlük faaliyetlerinden stratejik yönüne kadar geniş bir alanı etkiler.
Yapay zekâ bu kararların hazırlanma ve uygulanma biçimini değiştirebilir.
Ancak bu değişimin gerçek değere dönüşebilmesi için karar süreçlerinin organizasyonun genel operasyon modeliyle uyumlu olması gerekir.
Örneğin insan–ajan hibrit organizasyon tasarımı, görevlerin insanlar ve dijital ajanlar arasında nasıl dağıtılacağını açıklamaya yardımcı olur.
Orkestrasyon mimarisi, farklı aktörlerin ve sistemlerin iş akışları içinde nasıl koordine edileceğini belirler.
Human-in-the-Loop yaklaşımı, insan müdahalesinin hangi noktalarda gerekli olduğunu tanımlar.
Kontrollü otonomi ise dijital sistemlerin hangi sınırlar içinde bağımsız işlem gerçekleştirebileceğini düzenler.
Karar zekâsı, bu yapıların tamamını birbirine bağlayan önemli bir yönetim boyutu oluşturur.
Çünkü bütün bu sistemlerin sonunda hangi kararın, hangi gerekçeyle ve hangi yetkiyle verildiği sorusunun yanıtlanması gerekir.
Benim kurumsal dönüşüm perspektifimde karar zekâsı, geleceğin işletme modeline sonradan eklenen bir analitik uygulama değildir.
İnsan ve dijital kapasitenin birlikte çalışmasını sağlayan karar mimarisinin temel bileşenlerinden biridir.
Sonuç: Geleceğin İşletmeleri Daha Fazla Kararı Değil, Daha Doğru Kararları Otomatikleştirmeli
Yapay zekâ teknolojilerinin gelişmesi, şirketlere daha fazla veriyi değerlendirme, daha hızlı analiz yapma ve belirli kararları otomatik uygulama imkânı sunuyor.
Ancak bu gelişmenin kurumsal değeri, kararların mümkün olduğunca insanlardan alınarak modellere devredilmesinde bulunmuyor.
Asıl değer, hangi kararların veri ve algoritmalarla daha iyi desteklenebileceğini, hangilerinin güvenilir biçimde otomatikleştirilebileceğini ve hangilerinde insan muhakemesinin belirleyici olması gerektiğini anlayabilmekte ortaya çıkıyor.
Bazı kararlar açık kurallara dayanır ve uygun koşullarda otomatik yürütülebilir. Bazıları model önerisiyle insan onayını birleştirebilir. Bazıları ise stratejik, etik, hukuki veya kurumsal sorumluluklar nedeniyle yetkili insan değerlendirmesini gerektirir.
Ancak bu sınırlar sabit değildir.
Veri kalitesi, model performansı, risk düzeyi, iş koşulları ve düzenleyici gereksinimler değiştikçe karar mimarisinin de yeniden değerlendirilmesi gerekir.
Bu nedenle karar zekâsını yalnızca daha gelişmiş modeller kullanmak olarak değil, organizasyonun karar verme biçimini sürekli geliştirmek olarak görüyorum.
Kurumsal dönüşüm açısından temel düşüncem şu:
Geleceğin işletmelerinde rekabet avantajı, yapay zekânın kaç karar verdiğiyle değil; insan ve model arasında doğru sınırları kurarak ne kadar güvenilir, zamanında ve değer üreten kararlar alınabildiğiyle şekillenecektir.
Bu nedenle şirketlerin yapay zekâ yatırımlarında yalnızca model yeteneklerine, otomasyon oranlarına veya işlem hızına odaklanmalarını yeterli bulmuyorum.
Kararların nasıl tanımlandığına, hangi hedeflere hizmet ettiğine, hangi aktörler tarafından verildiğine ve sonuçlarının nasıl değerlendirildiğine de bakılması gerektiğine inanıyorum.
Çünkü geleceğin işletme modelini tasarlamak, yalnızca işlerin kim tarafından yapılacağını belirlemek değildir.
Aynı zamanda hangi kararların kim tarafından, hangi bilgiye dayanarak, hangi yetkiyle ve hangi sorumluluk altında alınacağını yeniden düşünmektir.
Ve bana göre yapay zekâ çağında kurumsal dönüşümün en önemli sorularından biri tam olarak budur.
Bilgin Çavuş
Kurumsal Dönüşüm Stratejisti
Astrum Consulting Group — Kurucu ve Yönetici Ortak
bilgincavus.com




