Abstract
Günümüzde okullar, konser alanları, sokaklar gibi kalabalık ortamların güvenlik sistemleri ile izlenmesi ve kaydedilmesi büyük önem taşımaktadır. Kaydedilen bu görüntüler ihtiyaç halinde izlenerek şüpheli durumların tespiti ve analizi yapılmaktadır. Ancak bu analizler insan faktörüne bağlı olduğu için çeşitli hatalara ve yanlış anlaşılmalara sebebiyet verebilmektedir. Bu çalışmanın temel amacı video görüntülerinden şüpheli hareket tespitinin yüksek doğrulukta ve otomatik şekilde yapılabileceği bir hareket analiz sistemi geliştirmektir. Bu amaç doğrultusunda, farklı derin öğrenme tabanlı modeller incelenmiş, UCF101 ve Human Activity & Suspicious Behavior Video Dataset veri setleri üzerinde performans değerlendirilmesi yapılmıştır. Günümüzde yoğun olarak kullanılan görüntü işleme modellerinden farklı olarak, YOLOv8-Pose modeli ile elde edilen insan iskelet verileri kullanılmıştır. Renk tabanlı modeller çevresel faktörlere oldukça duyarlıdır. Görüntü çözünürlüğü, ışık, kamera açısı gibi koşullar bu tipteki modeller için çok önemlidir. İskelet verileri ise bu koşullar karşısında daha dayanıklıdır. Bu çalışmada hareketlerin tespitinin yapılabilmesi için İki Akışlı Uzamsal-Zamansal Grafik Evrişimsel Ağ (Two-Stream ST-GCN) ve Transformer Tabanlı Zamansal Dikkat modeli önerilmiştir. Bu model hem pozisyon hem de hareket bilgilerini aynı ST-GCN blokları ile işlemektedir. İşlenen ST-GCN blokları sonrasında zamansal dikkat mekanizması ile birleştirilmektedir. UCF-101 ve Human Activity & Suspicious Behavior Video Dataset veri setleri üzerinde yapılan incelemeler sonucunda %93,81 F1 skoru elde edilmiştir. Çalışmada piksel tabanlı modellerin karşılaştırılması amacıyla ResNet18 tabanlı bir Evrişimsel Sinir Ağı-Uzun Kısa Süreli Bellek (Convolutional Neural Network-Long Short-Term Memory, CNN-LSTM) modeli ve ConvNeXt - Mamba mimarisi uygulanmıştır. Görüntülerdeki ışık, gürültü, kamera açısı gibi değişkenlerin negatif etkilerini azaltmak amacıyla piksel tabanlı yaklaşımlar yerine iskelet noktalarının baz alındığı bir mimari önerilmiştir. YOLOv8-Pose modeli ile insan vücuduna ait olan 17 eklem noktası çıkarılmış, bu noktalardan poz ve hareket hızı bilgileri elde edilmiştir. Elde edilen iki farklı iskelet bilgileri, uzamsal-zamansal ilişkilerin modellenebilmesi amacıyla İki Akışlı Uzamsal-Zamansal Graf Evrişim Ağı yapısına verilmiş ve sonrasında Transformer tabanlı dikkat mekanizması ile birleştirilmiştir. Transformer mekanizması ile hareketlerdeki kritik anların öğrenilmesi sağlanmıştır. Renk tabanlı modeller yüksek girdi ile eğitilirken (3x224x224x100=15.052.800), iskelet tabanlı modeller daha az girdi boyutu (2x100x17=3400) kullanarak, gerçek zamanlı güvenlik sistemlerine entegre edilebilecek bir performans sergilemiştir.