Vektör Veritabanları – Vector Databases

Yapay zekanın çokça konuşulduğu bu günlerde  özellikle de Generative AI tarzı sistemler hayatımızdaki yerlerini almaya başladıkça yükselen bir trend olarak Vector Veritabanları ile karşılaşmaktayız. Bunun nedeni yapılandırılmamış verinin  miktarının artması ve bu veriyi analiz etmenin zorluğudur. Ek olarak çoğu veri aracınında bu veriyi alamaması nedeniyle belirli araçların gerekliliği önemli ölçüde artmıştır.Vektör veritabanı, verilerin saklanmasında ve alınmasında etkilidir. Halen haberdar değilseniz,veri yönetiminin geleceği olan vektör veritabanlarına gelin birlikte bakalım

Veriye baktığımız zaman tarihin eski zamanlarından beridir tablolar şeklinde tutulduğunu görürüz. Bu tablolarda da aslında verinin değişiminin tarihçesi  tutulmaktadır. Bundan feyz alan şuan kullandığımız sistemler ise ilk olarak 1960 yılında  Charles W. Bachman tarafından tasarlanmıştır. Yani yaklaşık olarak 60 yıllık bir maziye sahiptirler. Bu tür yapılandırılmış veriler arasındaki  ilişki önceden kurgulanabilinir ve böylece veri bu şekle göre tutulabilir. Yapılandırılmış veriler, tablolar ve sütunlar arasında önceden tanımlanmış ilişkilerle depolanırken, görüntü, video, metin ve ses gibi yapılandırılmamış verilerde bu yapmak gerçekten çok zordur. Bazı sistemler label veya tagler ile bunu yapmaya çalışsa da bu bir çözüm olmaya yaklaşamamıştır.

Vektör veritabanı, verileri özelliklerin veya niteliklerin matematiksel temsilleri olan yüksek boyutlu vektörler olarak depolayan bir veritabanı türüdür. Her vektör, verilerin karmaşıklığına ve ayrıntı düzeyine bağlı olarak değişebilen belirli sayıda boyuta sahiptir. Yukarıda da bahsettiğmiz gibi vektör , veri bağlamında bir öğenin veya bir gözlemin niteliklerinin matematiksel temsilleridir.  Bir dildeki veya belirli bir veri kümesindeki tek tek sözcüklerin daha düşük boyutlu bir alanda gerçek sayısal değerlere sahip vektörler olarak ifade edilmesine Vektör gömme (Vector embedding) denmektedir.
Bu veritabanları, AI teknolojisinin faydalarını en üst düzeye çıkarmada çok önemli bir rol oynamaktadır. Bunlar, karmaşık verileri makinenin anlayabileceği bir yapıda düzenlemenize yardımcı olarak verilerin daha iyi anlaşılmasını sağlarlar.Basit bir ifadeyle vektör veritabanları, bazı insan yapımı etiketler yerine vektörleri kullanarak yapılandırılmamış verilerde etkili bir şekilde arama yapmaya izin veren araçlardır.

Bir vektör veri tabanının ana avantajı, vektör mesafesine veya benzerliğine dayalı olarak hızlı ve doğru benzerlik aramasına ve veri almaya izin vermesidir. Bu, veritabanlarını tam eşleşmelere veya önceden tanımlanmış kriterlere dayalı olarak veriyi sorgulamak için geleneksel yöntemleri kullanmak yerine, anlamsal veya bağlamsallıklarına göre en benzer veya en ilgili verileri bulmak için bir vektör veritabanı kullanabileceğiniz anlamına gelir.

Örneğin, bir vektör veritabanını şu amaçlarla kullanabilirsiniz:

• Bir görsele içeriğine ve stiline göre benzeyen görselleri bulabiliriz.
• Bir belgeye konusuna ve içeriğine göre benzeyen belgeleri bulabiliriz.
• Bir ürüne özelliklerine göre benzer ürünleri bulabiliriz

Bir vektör veritabanı için “yapılandırılmamış veriler için tam teşekküllü bir çözümdür” cümlesi en güzel açıklamadır.
Kısaca Vektör veritabanına doğru olan akış aşağıdaki gibidir.

Bu veritabanları, iki önemli şeyi yapmak için tasarlandıkları için normal olanlardan farklıdır:

Benzer öğeleri aramak için: Vektör veritabanlarının temel özelliklerinden biri, benzer öğeleri hızlı ve doğru bir şekilde arama yetenekleridir. Bu, verileri yüksek boyutlu vektörler olarak temsil eden vektör katıştırmaları yoluyla elde edilir. Bu yerleştirmeler daha sonra öğe benzerliğini belirlemek için matematiksel işlemler kullanılarak karşılaştırılabilir.
Büyük miktarda veri üzerinde gelişmiş analizler için: Vektör veritabanlarıyla ilgili bir başka harika şey de, devasa veri kümelerini analiz etme yetenekleridir. Karmaşık analizler yapmayı kolaylaştıran vektör gömmeleriyle iyi çalışan özel algoritmalar ve yapılar kullanırlar.

Vektör veritabanlarının asıl gücü, veri indeksleme ve sorgulama tekniklerinden gelmektedir. Sorgulamalarda harcanan zamanı azaltmak için  veritabanındaki her vektörü yinelenmez. Bunun yerine sorgular sırasında arama alanını önemli ölçüde küçültebilmek için  KD-Ağaçları ( KD-Trees), Hiyerarşik Gezilebilir Küçük Dünya grafikleri (Hierarchical Navigable Small World graphs (HNSW)) veya Ters Çoklu Dizin (Inverted Multi-Index (IMI)) gibi belirli dizin oluşturma teknikleri kullanırlar.

En çok rağbet gören Vektör Veritabanlarının kısa bir listesini aşağıda veriyorum. Tabii ki bunlarla sınırlı değil. Fakat incelemeye başlamak için iyi bir giriş olur diye düşündüm.

• 1. Weaviate
  • Kullanıcıların veri nesnelerini ve vektör yerleştirmelerini depolamasına yardımcı olan açık kaynaklı bir vektör veritabanıdır.
• 2. Milvus
  • AI uygulamalarını geliştirmek ve sürdürmek için uygun, gelişmiş bir açık kaynaklı vektör veritabanıdır.
• 3. Pinecone
  • Vektör arama için bir vektör veritabanıdır. Arama, üretim, güvenlik, kişiselleştirme, analiz ve makine öğrenimi ve veri yönetimi için çeşitli çözümler içerir.
• 4. Vespa.ai
  • Vektör aramayı (ANN), sözlüksel aramayı ve yapılandırılmış verilerde aramayı destekleyen açık kaynaklı bir arama motoru ve vektör veritabanı aracıdır.
• 5. Chroma
  • Yapay zekaya özgü ve açık kaynaklı bir gömme veritabanı platformudur.
• 6. Nomic Atlas
  • Metni düzenleyerek ve veri kümelerini etkileşimli haritalara yerleştirerek iş akışınıza entegre olan bir vektör veritabanıdır. Bu şekilde, belge koleksiyonlarınızı düzenleyebilir ve özetleyebilir.
• 7. Faiss
  • Benzerlik araması ve yoğun vektörlerin kümelenmesi için oluşturulmuş bir bulut ve şirket içi kitaplıktır.Kısaca FAISS (Facebook Yapay Zeka Benzerlik Araması), geliştiricilerin birbirine benzeyen multimedya belgelerinin yerleşimlerini hızlı bir şekilde aramasına olanak tanıyan bir kitaplıktır.
• 8. Qdrant
  • Bir vektör veritabanı ve vektör benzerlik arama motorudur. En yakın yüksek boyutlu vektörler için arama yapan bir API hizmeti olarak dağıtılır.
• 9. Supabase
  • Çeşitli çözümlere sahip açık kaynaklı bir vektör veritabanıdır.

Ek bilgi olarak geneksel veritabanları üzerinde eklenti olarak çalışan vektör arama eklentileri de (vector search plugin) bulunmaktadır. Mevcut mimarilerin üzerine giydirme şeklinde kullanılarak belli sorunları çözebilmekle beraber günün sonunda mış gibi yapmanın ötesine geçememektedir.

iyi günler,