Logo Tyfloświat
  • Strona główna
  • Uncategorized
  • Ostatnie nowości w Envision: Tryb Explore, sceny rozpoznawane przez Chat GPT, na niektórych smartfonach lepsze rozpoznawanie tekstu
Telefon komórkowy trzymany w dłoni, wyświetlony ekran główny w iPhone

Envision znajdziemy na liście aplikacji niejednego smartfona, używanego przez osobę niewidomą. Dzięki temu narzędziu możemy rozpoznawać tekst w czasie rzeczywistym, czytać zeskanowane dokumenty, uzyskiwać opisy zdjęć albo chociażby skanować kody kreskowe.
Wersja 3.2.5, wydana wg. informacji w aplikacji na iOS 30 października 2023, przynosi kilka nowych ciekawych funkcji. O niektórych z nich firma Envision poinformowała także na webinarium 26 października.
Wprowadzono funkcję Explore. Aparat naszego telefonu powinien informować nas o wszystkich przedmiotach, jakie znajdują się w naszym otoczeniu i tym sposobem telefon powinien zostać niejako naszym przewodnikiem.
Na podstawie informacji pochodzących z 206 wydania Tyfloprzeglądu w serwisie Tyflopodcast oraz z własnej obserwacji mogę powiedzieć, że funkcja działa, chociaż wymaga jeszcze dopracowania. Niektóre przedmioty są rozpoznawane dobrze, np. klawiatura komputerowa, telefon komórkowy, okno. O łóżku w moim pokoju już jednak telefon nic nie mówi, a mikrofon na biurku rozpoznał mi jako butelkę. Widać ponadto, że nazwy rozpoznanych przedmiotów są tłumaczone maszynowo. Nie zdziwcie się więc, jeśli zamiast słowa książka usłyszycie słowo zarezerwować, gdyż angielskie “book” może oznaczać jedno i drugie. I to nie jest jedyny taki kwiatek, który spotkałem. Dodam jeszcze, że od jednej z przyszłych wersji funkcja Explore będzie wzbogacona o informacje pochodzące z czujnika lidar na telefonach, które go posiadają. Tak działa już konkurencyjna aplikacja Seeing AI.
Kolejną nowością, na razie zapowiedzianą tylko na webinarium, jest rozpoznawanie scen poprzez Chat GPT. Jeśli więc aparat zrobi zdjęcie w trybie opisu sceny, dostaniemy opis zdjęcia podobny do Be My AI, znanego z aplikacji Be My Eyes, i będziemy mogli dopytać o szczegóły, które nas interesują. Wydaje się, że tej funkcji na razie nie ma w najnowszej wersji 2.3.5 na iOS. Mam tę wersję na smartfonie, a na razie nie widzę tej opcji.
Na webinarium poinformowano także, że rozpoznawanie zeskanowanych dokumentów przechodzi na tryb offline. Nie wiem, czy to dobra wiadomość. Odkąd tryb krótkiego tekstu przestał używać silnika online, czytanie tekstu znacznie się pogorszyło. Tutaj zapewniono jednak, że tekst będzie rozpoznawany inaczej. Możemy zatem mieć nadzieję, że przy czytaniu tekstu z kartek będzie można nadal liczyć na Envision.
Wspomnę jeszcze o ostatniej nowości, która niestety nie działa na wszystkich smartfonach. Od najnowszej wersji 2.3.5 zauważyłem na iPhonie 13 Pro, że polepszyło się czytanie w trybie krótkiego tekstu, czyli sczytywania w czasie rzeczywistym. Mogę tylko się domyślać, że wprowadzono tu jakiś niewielki model sztucznej inteligencji, działający na nowych procesorach Apple. Jeśli działa Wam ta funkcja, usłyszycie w trakcie czytania tekstu co jakiś czas muzyczkę, dobrze znaną z aplikacji Envision. Dowiedziałem się jednak, że już na iPhonie 13 Mini, czyli nawet na innym telefonie tej samej generacji, nic się nie zmieniło. Ja dzięki tej funkcji zacząłem ponownie używać Envision na iPhonie do rozpoznawania opakowań artykułów spożywczych, czytania tekstu z ekranu odbiorników radiowych itp. Do tej pory sprawdzał mi się na iPhonie tylko Seeing Assistant Home, a na Androidzie Google Lookout.
Życzę zatem wszystkim, żeby Wam czytanie tekstu działało coraz lepiej oraz żeby aplikacja Envision sprawdzała się w różnych sytuacjach. Jest to bardzo przydatne narzędzie, niepozbawione błędów, ale jak widać, cały czas się rozwija. Myślę, że możemy z ciekawością czekać na kolejnenowości i udoskonalenia aplikacji.
Autor: Roberto Lombino
Źródło: Uwagi do najnowszej wersji w aplikacji Envision na iOS, mail od zespołu Envision z informacją o webinarium, audycje Tyfloprzegląd nr 206 i 207

 

Partnerzy

 Fundacja Instytut Rozwoju Regionalnego                     Państwowy Fundusz Rehabilitacji Osób Niepełnosprawnych

Back to top