相互性を活用した共鳴音響フィールド

仮想環境での没入型聴覚体験を実現するには、動的な音源位置をサポートする柔軟な音モデルが必要です。本論文では、任意の音源位置からの部屋のインパルス応答を推定する新たなタスク「共鳴」を提案します。この手法は、視覚のリライティング問題に類似しており、相互性の特性を活用します。私たちは物理に基づいたアプローチVersaを導入し、音響フィールド学習を促進します。この方法により、波を発する位置と受け取る位置を交換することで、物理的に妥当なサンプルが生成されます。さらに、音源とリスナーのゲインパターンによる相互性の展開に伴う課題を特定し、自己教師あり学習アプローチを提案します。その結果、Versaはシミュレーションデータと実際のデータセットにおいて音響フィールド学習のパフォーマンスを大幅に向上させ、ユーザー調査では没入型の空間音響体験が大きく改善されることが示されました。