Robust, Efficient and Intelligent Processing of
Text, Speech, Visual Data, and High Dimensional Representations

Summary

The past three decades have brought dramatic changes in the way we live and
work. This phenomenon is widely characterized as the advent of the Information Society.
Ten years ago, most digital content was textual. Today, it has expanded to include audio,
video, and graphical data.

The challenge is now to organize, understand, and search this
multimodal information in a robust, efficient and intelligent way, and to create dependable
systems that allow natural and intuitive multimodal interaction.
The Cluster of Excellence on Multimodal Computing and Interaction, established by
the German Research Foundation (DFG) within the framework of the German Excellence
Initiative, addresses this challenge.

The term multimodal describes the different kinds of
information such as text, speech, images, video, graphics, and high-dimensional data, and
the way it is perceived and communicated, particularly through vision, hearing, and human
expression.

Zusammenfassung

Unsere Lebens- und Arbeitsumst?nde haben sich in den letzten
drei Jahrzehnten dramatisch ver?ndert. Diese Ver?nderung wird gemeinhin als Aufbruch
in die Informationsgesellschaft beschrieben. Vor zehn Jahren bestanden digitale Inhalte
?berwiegend aus Text, heute sind diese Inhalte erweitert um Audio, Video und Grafik.

Als Herausforderung ergibt sich, diese multimodale Information auf robuste, effiziente und
intelligente Weise zu organisieren, zu verstehen und zu durchsuchen, sowie zuverl?ssige
Systeme mit intuitiven multimodalen Interaktionsm?glichkeiten zu schaffen.
Das von der Deutschen Forschungsgemeinschaft (DFG) im Rahmen der Exzellenzinitiative
eingerichtete Exzellenzcluster Multimodal Computing and Interaction stellt sich dieser
Herausforderung.

Hierbei bezeichnet der Begriff ?multimodal? sowohl die unterschiedlichen
Arten von Information wie Text, Sprache, Bilder, Video, Grafik und hochdimensionale
Daten wie auch die Art der Wahrnehmung und Kommunikation, insbesondere durch Sehen,
H?ren und menschlichen Ausdruck.