HackerNews

テキストは言葉以上の音を持つことができるか?

Can text be made to sound more than just its words? (2022)

https://arxiv.org/abs/2202.10631


この記事では、発話の抑揚や感情のニュアンスがテキストだけでは適切に表現できない問題について論じています。具体的には、キャプションが声のトーン(大きさ、音程、持続時間)を視覚的に表現する手法を提案しており、テキストに視覚的な要素を組み込むことにより、読者が音声の意味をより深く理解できるようにすることを目的としています。実験では、117人の参加者がこのように修正されたタイポグラフィを用いた音声に対して、65%の正答率で元の音声を特定することができたことが示されています。また、参加者の意見からは、彼らの音声変調タイポグラフィに対する理解や印象が多様であることが明らかになっています。