Jakiś czas temu pisaliśmy w Tyfloświecie o eksperymentach z tworzeniem narzędzi do odwzorowywania obrazu dźwiękiem. Dźwięczący pędzel stworzono jako narzędzie, dzięki któremu niewidzący artysta mógłby tworzyć formy wizualne na swoim tablecie lub komputerze. Firma Microsoft posunęła się w eksperymentach związanych z tą problematyką o krok dalej. Podjęto próby wykorzystania czujnika ruchu Kinect.
Salmon jest słabowidzącym malarzem. Pracuje nad tym, by osoby niewidome lub słabowidzące mogły uzyskać kontakt estetyczny z jego sztuką. Namalował trzy pastele o wymiarach około 240 x 120 cm każda. Do obrazów została dobrana interaktywna ilustracja dźwiękowa. Kinect służy tutaj do kontekstowego zmieniania dźwięku w zależności od pozycji, jaką względem obrazu przyjmuje osoba oglądająca. Zadbano o to, by wrażenia dźwiękowe korespondowały ze wzrokowymi. Gdy znajdujemy się bardzo blisko obrazu, widzimy zbiorowisko plam, punktów naniesionych na płótno. Wtedy usłyszymy zbiorowisko abstrakcyjnie skomponowanych dźwięków. Gdy oddalimy się od obrazu, będzie można wydobyć z niego pejzaż, obraz przyrody. Usłyszymy więc szum wody w głębokim kanionie lub śpiew ptaków. Artysta ma nadzieję, że to interaktywne podejście do sztuki przyczyni się do rozszerzenia obszaru doświadczeń estetycznych nie tylko dla osób z niepełnosprawnościami, lecz także dla osób pełnosprawnych, wzbogacając doznania związane z obcowaniem ze sztuką.
