Büyük Modellerin Finans Sektöründeki Uygulama Durumu: Stratejik Yükseklikten Pratik Uygulamaya

ChatGPT'nin ortaya çıkışı finans sektöründe büyük yankı uyandırdı. Başlangıçta, bu teknoloji odaklı sektör genel olarak kaygılıydı ve zamanın dalgalarının gerisinde kalmaktan endişeliydi. Bu duygu, beklenmedik bazı yerlere kadar yayıldı. Bilgilere göre, bu yılın Mayıs ayında Dali'deki bir tapınakta finans profesyonellerinin büyük modelleri tartıştığı duyulmuş.

Ancak, zamanla bu kaygı yavaş yavaş azaldı ve insanların düşünceleri daha net ve mantıklı hale geldi. SoftTech Bankacılık İşleri CTO'su Sun Hongjun, finans sektörünün büyük modeller karşısındaki tutumunun evrim sürecini şöyle tanımladı: Şubat-Mart aylarında genel bir kaygı; Nisan-Mayıs'ta ekipler kurarak araştırmalara başlandı; sonraki birkaç ayda yön bulma ve uygulama sürecinde zorluklarla karşılaşıldı, mantıklı hale gelmeye başlandı; şimdi ise referanslara odaklanıyor ve doğrulanmış uygulama senaryolarını test etmeye çalışılıyor.

Şu anda, birçok finans kurumu stratejik düzeyde büyük modellerin önemini kavramaya başladı. Tam olmayan istatistiklere göre, A-hisse senedi borsasında en az 11 banka son yarı yıl raporlarında büyük model uygulamalarını keşfettiklerini açıkça belirtti, bunlar arasında Endüstri ve Ticaret Bankası, Tarım Bankası, Çin Bankası, Ulaşım Bankası gibi kurumlar yer alıyor. Son dönemdeki hareketlere bakıldığında, bu kurumlar stratejik ve üst düzey tasarım açısından daha net düşünme ve yol haritası planlama sürecine girmekte.

Coşkunluktan Mantığa Dönüş

Birkaç ay öncesine göre, finansal müşterilerin büyük modelleri anlama düzeyi belirgin şekilde arttı. Yılın başında ChatGPT ilk çıktığında, heyecan yüksek olmasına rağmen büyük modellerin doğası ve uygulama şekilleri hakkında sınırlı bilgi vardı.

Bu aşamada, bazı büyük bankalar öncü rol üstlenerek çeşitli "gündem oluşturma" tanıtımlarına başladı. Örneğin, Mart ayında bir banka ChatGPT benzeri büyük model uygulamasını tanıttı, ancak sektördeki değerlendirmeler karışıktı. Bazıları bu uygulamanın sohbet işlevine fazla vurgu yaptığını, daha önemli olan üretim yeteneğini göz ardı ettiğini düşünüyor.

Ülkemizdeki birçok teknoloji şirketi büyük modelleri ardı ardına tanıtmaya başladıkça, bazı önde gelen finans kurumlarının teknoloji departmanları bu şirketlerle büyük model inşası hakkında aktif olarak görüşmeye başladı. Genel olarak, bağımsız bir şekilde büyük model geliştirmeyi umuyorlar ve veri seti oluşturma, sunucu yapılandırması ve eğitim yöntemleri gibi konularda sorular soruyorlar. Bir bankanın finansal teknoloji şirketi, tamamlandıktan sonra sektördeki diğer firmalara teknoloji sunma umudunu bile dile getirdi.

Mayıs'tan sonra durum değişmeye başladı. Hesaplama gücü kaynaklarının kıtlığı, yüksek maliyetler gibi faktörlerin etkisiyle, birçok finans kurumu sadece kendi kendine inşa etme arzusundan, uygulama değerine daha fazla odaklanmaya yöneldi. Şimdi her finans kurumu, diğer kurumların büyük model uygulama durumuna ve etkisine dikkat ediyor.

Farklı ölçeklerdeki işletmeler iki farklı yol izlemeye başladı. Büyük finansal kuruluşlar, devasa finansal verilere ve uygulama senaryolarına sahip olduklarından, lider temel büyük modelleri benimseyebilir, kendi kurumsal büyük modellerini oluşturabilir ve aynı zamanda belirli alanlardaki görev büyük modellerini geliştirmek için ince ayar yapma yöntemini kullanarak hızlı bir şekilde işlerini güçlendirebilirler. Küçük ve orta ölçekli finansal kuruluşlar ise ROI'yi göz önünde bulundurarak, ihtiyaç duydukları çeşitli büyük modelleri kamu bulut API'leri veya özel dağıtım hizmetleri aracılığıyla temin edebilirler.

Ancak, finans sektörünün veri uyumluluğu, güvenliği ve güvenilirliği gibi yüksek gereksinimleri nedeniyle, bazı sektör uzmanları bu sektörün büyük modellerinin uygulanmasının aslında yılın başındaki beklentilerin biraz altında ilerlediğini düşünüyor. SoftTech'ten Sun Hongjun, başlangıçta finans sektörünün büyük modelleri en önce büyük ölçekte kullanacağını tahmin ettiklerini, ancak gerçekte finans sektöründeki uygulama sürecinin hukuk, istihdam gibi sektörlerden daha yavaş olduğunu belirtti.

Bazı finansal kurumlar, büyük modellerin uygulanması sürecindeki çeşitli kısıtlamaların üstesinden gelmek için çözümler aramaya başladı.

Hesaplama gücü açısından, sektörde birkaç çözüm yaklaşımı ortaya çıktı:

1. Doğrudan kendi hesaplama gücünü inşa etmek, maliyeti yüksek ancak güvenliği güçlüdür, kendi sektörünü veya şirket büyük modellerini inşa etmek isteyen büyük finansal kuruluşlar için uygundur. Edinilen bilgilere göre, yakın zamanda büyük bir devlet bankası hesaplama gücü kurmak için bir dizi H800 çipi satın aldı.

2. Hesap gücü karışık dağıtım, hassas verilerin dışarı sızmamasını sağlarken, kamu bulut büyük model hizmeti arayüzlerini kullanarak, aynı zamanda yerel verileri işlemek için özel dağıtım yoluyla gerçekleştirilir. Bu yöntem maliyet açısından daha düşüktür ve finansal gücü sınırlı, ihtiyaç bazlı uygulamalara sahip küçük ve orta ölçekli finansal kurumlar için uygundur.

3. Küçük ve orta ölçekli kurumların karşılaştığı GPU kartı kıtlığı ve yüksek fiyat sorunlarına yönelik olarak, düzenleyici kurumlar, menkul kıymetler sektörü için paylaşılan büyük model altyapısı kurma olasılığını araştırıyor. Bu, hesaplama gücünü ve genel büyük model kaynaklarını merkezileştirerek, küçük ve orta ölçekli finansal kurumların da büyük model hizmetlerinden yararlanmasını sağlamayı ve teknolojik geriliği önlemeyi amaçlıyor.

Madde gücünün yanı sıra, son altı ayda birçok finans kuruluşu da veri yönetimini güçlendirdi. Bir bulut hizmet sağlayıcısının yöneticisi, büyük bankalar dışında giderek daha fazla orta ölçekli finans kuruluşunun da veri merkezi ve veri yönetim yapıları kurmaya başladığını belirtti. Gelişmiş bir veri yönetim sistemi ve veri gölü teknolojisi platformunun, gelecekte finans kuruluşlarının BT inşası için önemli bir yön haline geleceğini düşünüyor.

Bazı bankalar, büyük modelleri MLOps ile birleştirerek veri sorunlarını çözmektedir. Örneğin, bir büyük banka MLOps modeli ile büyük model veri kapalı döngü sistemini kurmuş, süreç otomasyonunu ve çok kaynaklı heterojen verilerin birleşik yönetimi ve etkili işlenmesini sağlamıştır. Şu anda 2.6TB'lık yüksek kaliteli eğitim veri seti oluşturmuştur.

Dış sahneden giriş

Geçtiğimiz altı aydan fazla bir süre boyunca, hem büyük model hizmet sağlayıcıları hem de finansal kurumlar, uygulama senaryoları arayışında aktif olarak yer aldılar. Akıllı ofis, akıllı geliştirme, akıllı pazarlama, akıllı müşteri hizmetleri, akıllı yatırım araştırmaları, akıllı risk kontrolü, ihtiyaç analizi gibi alanlar keşif odakları haline geldi.

Bir finans teknoloji şirketinin üst düzey yöneticisinin dediği gibi, "Finansal iş süreçlerindeki her kritik aşama, büyük model teknolojisi ile yeniden tasarlanmaya değer." Şirket, yakın zamanda finans sektörüne yönelik büyük bir model yayınladı ve finans endüstrisine yönelik büyük model ürünleri geliştirmek üzere ortakları ile işbirliği yaptı. Bu, finansal danışmanlar, sigorta acenteleri, yatırım araştırmaları, finansal pazarlama, sigorta tazminatı gibi finans sektörü profesyonellerine kapsamlı bir AI iş asistanı sunmayı amaçlıyor.

Farklı finansal kuruluşlar, büyük modellerin uygulanmasıyla ilgili zengin fikirler geliştirmiştir. Büyük bir banka, 20'den fazla senaryoda uygulama sunduğunu belirtirken, başka bir banka 30'dan fazla senaryoda pilot uygulama gerçekleştirdiğini ifade etti. Ayrıca, bir menkul kıymetler şirketi, büyük modelleri sanal dijital insan platformlarıyla birleştirmeyi keşfetmektedir.

Ancak, uygulama sürecinde genel bir mutabakat, önce dahili uygulama sonra da dışa dönük tanıtım yapmaktır. Sonuçta, mevcut aşamada büyük model teknolojisi henüz olgunlaşmamış, yanılsama gibi sorunlar bulunmaktadır ve finans sektörü de sıkı düzenlemeler, yüksek güvenlik ve yüksek güvenilirlik gerektiren bir alandır.

Büyük bir bankanın teknik sorumlusuna göre, kısa vadede büyük modellerin doğrudan müşterilere sunulması önerilmemektedir. Finansal kurumlar, büyük modelleri öncelikle finansal metinler ve finansal görsellerin analizi, anlama ve yaratım gibi zeka yoğun senaryolarda kullanmalı, bu sayede asistan biçiminde insan-makine işbirliği gerçekleştirmeli ve iş gücü verimliliğini artırmalıdır.

Şu anda, kod asistanı birçok finans kurumunda uygulanmıştır. Örneğin, bir banka büyük model temelinde akıllı bir araştırma ve geliştirme sistemi oluşturmuştur, kod asistanı tarafından üretilen kod miktarı toplam kod miktarının %40'ını oluşturmaktadır. Sigorta alanında, bir şirket büyük model temelinde yardımcı programlama eklentisi geliştirmiştir ve bu eklenti doğrudan iç geliştirme araçlarına entegre edilmiştir.

Akıllı ofis alanında birçok uygulama örneği bulunmaktadır. Bir büyük model tedarikçisi, finansal büyük modeli temel alarak geliştirdiği şube soru-cevap sistemini, bir bankada uyguladıktan sonra yüzlerce şubeye yaymıştır, cevap kabul oranı %85'i aşmaktadır. Bu çözüm ayrıca diğer birçok banka ve finans kurumuna hızlı bir şekilde kopyalanmıştır.

Ancak, sektör uzmanları bu yaygın olarak uygulamaya konulmuş senaryoların aslında finansal kurumların temel uygulamaları olmadığını değerlendiriyor. Büyük modellerin finans sektörünün iş katmanına derinlemesine girmesi için hala bir mesafe var.

Bir IT hizmet sağlayıcısının üst düzey yöneticisi, pazarlama, risk yönetimi ve uyum gibi senaryoların büyük modellerin devrim yaratma potansiyeline sahip olduğunu ve finansal müşterilerin ihtiyaçlarının bulunduğu alanlar olduğunu belirtti, ancak şu anda bu çalışmalar hala temel büyük model sağlayıcılarının yeteneklerinin gelişimine bağlı.

Sektör uzmanları, bu yılın sonuna kadar finansal kurumların temel iş senaryolarında gerçekten büyük modellerin uygulanacağı bir dizi proje inşası veya ihale bilgisi ortaya çıkacağını öngörüyor.

Bundan önce, bazı üst düzey tasarım değişiklikleri devam ediyordu. Uzmanlar, gelecekte tüm akıllı ve dijital sistemlerin büyük modeller temelinde yeniden inşa edileceğini öngörüyor. Bu, finans sektörünün büyük modelin uygulanmasını sağlarken sistemlerini yeniden yapılandırmasını gerektiriyor; aynı zamanda geleneksel küçük modellerin değerini göz ardı etmemeli, büyük ve küçük modellerin birlikte çalışmasına olanak tanımalıdır.

Bu trend, finans sektöründe geniş bir şekilde kendini göstermiştir. Şu anda finansal kurumlar büyük modelleri denemekte ve esasen katmanlı bir model benimsemektedir. Geçmişte bir senaryo için bir platform inşa etme şeklindeki siloların aksine, büyük modeller finansal kurumlara sıfırdan başlayarak daha bilimsel bir şekilde genel sistem planlaması yapma fırsatı sunmuştur.

Şu anda birçok önde gelen finans kuruluşu, altyapı katmanı, model katmanı, büyük model hizmet katmanı, uygulama katmanı gibi birçok katmandan oluşan katmanlı bir sistem çerçevesi kurmak için büyük modelleri kullanmaktadır. Bu çerçevelerin genel olarak iki özelliği vardır: birincisi, büyük model merkezi bir yetenek sergileyerek geleneksel modelleri bir beceri olarak çağırır; ikincisi, büyük model katmanı çoklu model stratejisi kullanarak, iç rekabet yoluyla en iyi sonuçları seçer.

Aslında, sadece finansal kuruluşlar değil, mevcut belirsiz durumda bazı büyük model uygulama sağlayıcıları da çoklu model stratejileri benimsemekte ve hizmet etkisini optimize etmektedir. Bir BT hizmet sağlayıcısı, temel model katmanlarının birçok büyük dil modelini birleştirdiğini ve her büyük modelin yanıtına göre bir araya getirip kullanıcıya sunduğunu açıkladı.

Yetenek açığı hala büyük

Büyük modellerin uygulamaları, finans sektöründeki personel yapısında bazı zorluklar ve değişimler getirmeye başladı.

Finans teknolojisi şirketinden bir kişi, ChatGPT'nin ortaya çıkmasından bu yana, çalıştığı şirketin bu yılın başından 5 Mayıs'a kadar 300'den fazla büyük veri analistini işten çıkardığını belirtti. Bu durum, gelecekteki kariyer gelişimi konusunda endişe duymasına neden oldu.

Büyük bir bankanın finans alanında kıdemli bir uzmanı, büyük modellerin insanın yerini alma etkisini de paylaştı. Bu bankada daha önce her sabah stajyerler çeşitli bilgileri araştırma ve yatırım departmanına derliyordu, ancak şimdi bu işler büyük modeller aracılığıyla yapılabiliyor.

Ancak, bazı bankalar büyük modellerin işten çıkarmalara yol açmasını istemiyor. Örneğin, 200,000 şubesi olan büyük bir banka, çalışanlarının büyük modellerle yer değiştirmesini istemediğini, bunun yerine büyük modellerin yeni fırsatlar sunmasını, çalışanların hizmet kalitesini ve iş verimliliğini artırmasını, aynı zamanda bazı çalışanların daha yüksek değerli işler yapabilmesi için serbest bırakılmasını umduklarını açıkça belirtti.

Bu açıdan, hem personel ve yapı istikrarı hem de birçok pozisyonda hala insan kaynağı açığı bulunması göz önünde bulunduruluyor. Bir IT hizmet sağlayıcısının yöneticisi, büyük bankaların tamamlayamadığı birçok işi olduğunu, bazı IT taleplerinin teslim süresinin hatta gelecek yılın sonuna kadar uzandığını belirtti. Onlar, büyük modellerin çalışanların verimliliğini ve hızını artırmasına yardımcı olmasını umuyor, personel azaltımına yol açmasını istemiyorlar.

Daha da önemlisi, büyük modellerin hızlı gelişimi, kısa süre içinde kıt yetenek arzının artan talebi karşılamada zorlanmasına neden oldu. Bu, iPhone'un ilk ortaya çıktığı dönemde, uygulama geliştirmek isteyenlerin iOS programcıları bulmakta zorlanmasına benziyor.

Büyük bir bankanın Ar-Ge yöneticisi, finans sektörünün büyük model yeteneklerini temel iş süreçlerine uygularken karşılaştığı 6 ana zorluğu özetledi, bunlardan biri de yetenek eksikliği. Son zamanlarda işe alınan yeni çalışanlar ve kampüs alımları arasında, AI alanında eğitim alanların oranı oldukça yüksek, ancak büyük model konusunda bilgi sahibi olan yetenekler çok az.

Bir IT hizmet sağlayıcısının üst düzey yöneticisi de benzer bir deneyim yaşadı, yakın zamanda bir banka müşterisinden bir yetenek destek talebi aldı. Bu banka, kendi büyük model ekibinde birinin ani olarak izin alması nedeniyle, model eğitim çalışmaları için yeterli personel bulamıyor ve dışarıdan destek aramak zorunda kalıyor.

Şu anda büyük modellerin doğrudan uygulanması için insan talebi nispeten basit, genellikle soru sorabilen kişilere ihtiyaç vardır. Ancak bir sektör veya şirket büyük modeli oluşturmak istenirse, finansal kuruluşların yetkin bir dikey büyük model teknik ekibine ihtiyacı olacaktır.

Bir bulut hizmeti sağlayıcısının üst düzey yöneticisi, AI büyük model alanında büyük bir yetenek açığı olduğunu itiraf etti. Önde gelen kuruluşlar şu anda algoritma doktoru gibi AI ile ilgili uzmanları işe alıyor. Bunun nedeni, finansal müşterilerin büyük model tedarikçilerinden teknik destek alabilmelerine rağmen, nihai kullanıcılar ve yenilik liderleri olmaları, AI büyük platformlarının inşasını desteklemek için belirli bir yetenek birikimine ihtiyaç duymaları ve modelleme, ayarlama ve ince ayar sürecinde büyük model tedarikçileriyle işbirliği yaparak AI modelinin uygulama alanını ve etkisini sürekli genişletmeleridir.

Bazı şirketler harekete geçti. Bir teknoloji şirketi, bankacılık laboratuvarlarıyla işbirliği yaparak, büyük modellerin işletme uygulamalarındaki insan dönüşüm uygulamalarını gözden geçirdi, Prompt ayarlama, ince ayar, büyük model işletimi gibi bir dizi eğitim programı tasarladı ve birden fazla departmanla işbirliği yaparak ortak proje grupları oluşturdu, şirket personelinin yeteneklerini artırmayı teşvik etti.

Sektör uzmanları, büyük modellerin şu anda yeterince olgun olmadığını, olgun ürünler geliştirmek için alan uzmanlarının birlikte çalışması gerektiğini belirtiyor. Büyük şirketlerin büyük modelleri, mevcut geleneksel yetenekleri bir miktar artıracak, ancak bir paradigma değişikliği getirmeyecek. Gerçek bir paradigma değişikliği, finansal sistemin içinde iç ihtiyaçları derinlemesine entegre eden bir ekibin ciddi yenilikler yapmasını gerektirir.

Dikkate değer olan, bu süreçte finansal kurumların personel yapısının da bir ayarlama ve dönüşüm sürecine gireceğidir. Büyük model kullanım becerilerine hakim olan geliştiricilerin, bu ortamda daha kolay bir şekilde yer bulmaları mümkün olacaktır.