SWAGE-3D: Spectral Wasserstein Attention Generative Ensemble, A Comparative Analysis on the ShapeNet Dataset

Abstract

Bu çalışma, voksel tabanlı temsiller kullanarak tek görüşlü 3B nesne rekonstrüksiyonu için geliştirilmiş bir 3D-VAE-GAN çerçevesi olan SWAGE-3D’yi (Spectral Wasserstein Attention Generative Ensemble) önermektedir. Önerilen model, yapısal tutarlılığı ve eğitim istikrarını artırmak için RGB-D kodlamasını, hibrit Lipschitz düzenlemesi ile Wasserstein karşıt öğrenmesini ve öz-dikkat ile güçlendirilmiş bir üreticiyi bir araya getirir. Varyasyonel gizil modellemeyi stabilize edilmiş Wasserstein optimizasyonu ile birleştiren bu çerçeve, mod çökmesi, kararsız yakınsama ve yetersiz küresel tutarlılık dahil olmak üzere 3D üretken modellemede sık karşılaşılan zorlukları ele almayı amaçlamaktadır. Kodlayıcı, derinlik duyarlı bir özellik çıkarma stratejisi kullanırken, ayırt edici ise Wasserstein amacının sağlam bir şekilde yaklaştırılmasını sağlamak için hibrit spektral normalizasyon ve gradyan ceza mekanizmasından yararlanır. Ek olarak, yeniden yapılandırma güvenilirliğini artırmak için çıkarım aşamasında bir topluluk stratejisi uygulanır. Önerilen yaklaşım, ShapeNet veri seti üzerinde 13 nesne kategorisi boyunca Intersection over Union (IoU) metriği kullanılarak değerlendirilmiştir. Deney sonuçları, temel 3D-VAE-GAN modeline göre %16,7’lik bir iyileşme ve en gelişmiş voksel tabanlı yeniden yapılandırma yöntemlerine karşı rekabetçi bir performans sergilemektedir. Bu bulgular, derinlik ipuçları, stabilize edilmiş Wasserstein eğitimi ve dikkat mekanizmalarının sinerjik entegrasyonunun, tek görünümlü 3D yeniden yapılandırma performansını önemli ölçüde artırdığını doğrulamaktadır.

This study proposes SWAGE-3D (Spectral Wasserstein Attention Generative Ensemble), an enhanced 3D-VAE-GAN framework for single-view 3D object reconstruction using voxel-based representations. The proposed model integrates RGB-D encoding, Wasserstein adversarial learning with hybrid Lipschitz regularization, and a selfattention–augmented generator to improve structural coherence and training stability. By combining variational latent modeling with stabilizedWasserstein optimization, the framework aims to address common challenges in 3D generative modeling, including mode collapse, unstable convergence, and insufficient global consistency. The encoder employs a depth-aware feature extraction strategy, while the discriminator utilizes a hybrid spectral normalization and gradient penalty mechanism to ensure robust approximation of theWasserstein objective. Additionally, an ensemble strategy is applied at inference time to enhance reconstruction reliability. The proposed approach is evaluated on the ShapeNet dataset across 13 object categories using the Intersection over Union (IoU) metric. Experimental results demonstrate a 16.7% improvement over the baseline 3D-VAE-GAN and competitive performance against state-of-the-art voxel-based reconstruction methods.These findings confirm that the synergistic integration of depth cues, stabilized Wasserstein training, and attention mechanisms significantly enhances single-view 3D reconstruction performance.