Videolarda Görüntü, Ses ve Metin Verileri Kullanılarak Anlamsal Bilgi Çıkarımı, Depolanması ve Sorgulanması (METU-MMDS)

Bu proje kapsamında, videoların görüntü, ses ve metin verileri kullanılarak (multi-modal) anlamsal bilgilerin otomatik olarak çıkarıldığı, uygun formatlarda saklandığı ve daha sonra da etkin bir şekilde sorgulanabildiği bir prototip sistem geliştirilmiştir. Geliştirilen sisteme yüklenen bir video öncelikle bazı ön işlemlerden geçirilerek görüntü, ses ve metin verileri elde edilmektedir. Elde edilen görüntü, ses ve metin verileri, her veri tipi için ayrı ayrı geliştirilmiş olan ilgili üç modül tarafından işlenerek videonun içeridiği anlamsal içerikler çıkarılmaya çalışılmaktadır. Daha sonra, bu üç modülden gelen bilgilerin analiz edilmesi, bütünleştirilmesi, eksiklerinin tamamlanması, dublikasyonlarının temizlenmesi ve böylece veritabanına kaydetmeye hazır bilginin elde edilmesini sağlayan bilgi füzyonu işlemi yapılmaktadır. Füzyon sonunda elde edilen video bilgileri, araştırmacıların yine bir TÜBİTAK 1001 Projesi kapsamında daha önce geliştirdikleri Akıllı ve Bulanık Nesneye Dayalı Veritabanı sisteminde saklanmaktadır. Akıllı ve Bulanık Nesneye Dayalı Veritabanı Sistemi temel olarak bir bulanık nesneye dayalı veritabanı ile bir bulanık bilgi tabanından oluşmaktadır. Uygulama alanıyla ilgili büyük boyutlardaki çoklu-ortam verileri nesneye dayalı veritabanında saklanırken, uygulama alanına özgü kuralların tanımlandığı bilgi tabanı vasıtasıyla da veritabanındaki veriler kullanılarak yeni anlamsal bilgiler çıkarılabilmektedir. Ayrıca, yapılacak sorgulara hızlı cevaplar üretebilmek amacıyla hem videolardan çıkarılan anlamsal bilgilerin hem de videoların alt seviye özelliklerinin birlikte kullanıldığı bir dizin yapısı geliştirilmiştir. Geliştirilen sistemde, belirsizlik ve bulanıklık içeren bilgiler de işlenebilmektedir.

Bu projenin özgün değeri farklı modlardaki (ses, görüntü ve metin) video verilerinden elde edilen bilgilerin füzyon edilmesi ve böylece daha bütünsel bir anlamsal bilgi seti oluşturularak veritabanında saklanmasında ve etkin olarak sorgulanmasında yatmaktadır.

Proje bitiminde, proje öneri dokümanında yer alan başarı kriterleri sağlanarak proje başlangıcında hedeflenen noktaya ulaşılmıştır. Proje kapsamında, 7 adet SCI-E tarafından taranan dergilerde ve 21 adet konferanslarda (19 adet uluslararası, 2 adet ulusal) olmak üzere toplam 28 adet yayın gerçekleştirilmiştir. Proje kapsamında projenin değişik süreçlerinde görev alan 4 doktora ve 6 lisansüstü öğrencisinin tez çalışmasına imkan sağlanmıştır.

Bu proje, BİLİMSEL VE TEKNOLOJİK ARAŞTIRMA PROJELERİNİ DESTEKLEME PROGRAMI kapsamında TÜBİTAK tarafından (109E014 kod numarasıyla) desteklenmiştir.

Yukarıdaki demo, METU-MMDSi kullanarak nasil vidyodan anlamsal içeriğini çıkartmak ve çeşitli sorgularla o verileri sorgulamağı gösterir.