Google wprowadziło nową, piętnastą wersję czytnika ekranu TalkBack. Najważniejszą jego nową funkcją jest nowy sposób opisywania obrazów oparty na modelu językowym Google Gemini. Przyjrzyjmy się nowościom zaprezentowanym w TalkBack 15.0.
Należy pamiętać, że wdrażanie aktualizacji trochę może potrwać. Jeśli jeszcze nie widzisz aktualizacji, bądź cierpliwy – powinna ona dotrzeć do twojego urządzenia w najbliższych dniach lub tygodniach.
Opisy obrazów oparte na Gemini
Google wprowadziło opisy obrazów i ikon w TalkBack począwszy od wersji 14.1. Opisy te były jednak często niedokładne i niewiarygodne, a ponadto były generowane offline na urządzeniu po pobraniu niezbędnych danych.
TalkBack 15.0 teoretycznie przenosi opisywanie obrazów na nowy poziom dzięki implementacji opisów obrazów opartych na Gemini. Teraz po wybraniu opcji „Opisz obraz” z menu TalkBack – lub po przypisaniu do niej gestu – zostaniesz zapytany, czy chcesz korzystać ze szczegółowych opisów obrazów AI. Można tę funkcję również włączyć w ustawieniach TalkBack > Opisy obrazów i ikon > Szczegółowe opisy obrazów.
Należy pamiętać, że automatyczne opisy nadal korzystają ze starych danych offline. Rezultatem korzystania z nowego szczegółowego rozpoznawania obrazu są bardziej szczegółowe, bogatsze opisy.
Podczas naszych krótkich testów stwierdziliśmy, że opisy są bardziej przydatne i szczegółowe. Na przykład ludzie byli rozpoznawani poprawnie (testowaliśmy z obrazem dwóch znanych polityków i zostali oni prawidłowo zidentyfikowani). Czytamy na stronie Accessible Android.
Obecna implementacja rozpoznawania obrazów ma jednak swoje pewne wady. Nowe opisy obrazów oparte na sztucznej inteligencji są generowane online. I chociaż wyniki są uzyskiwane szybko przy minimalnym czasie oczekiwania, to TalkBack już nie powraca do mniej szczegółowych opisów offline, gdy nie ma połączenia z Internetem.
Kolejna – nawet ważniejsza kwestia, o której warto wspomnieć, związana jest z wykrywaniem tekstu. W przeciwieństwie do słabych opisów obrazów offline, TalkBack tradycyjnie dobrze radził sobie z wykrywaniem tekstu i ikon, dokładnie rozpoznając tekst na zdjęciach i podświetlonych elementach. Jednak w przypadku opisów online opartych na Gemini wykryty tekst niestety jest teraz częścią ogólnego opisu. Oznacza to, że Gemini decyduje, jak odczytać tekst, często skutkując podsumowaniem lub jego częściowym odczytem.
Ponieważ nie ma ręcznego sposobu na wykrywanie tekstu, TalkBack stracił swoje dokładne możliwości wykrywania tekstu, zastępując je bardziej zawodnym rozwiązaniem, które może pomijać części tekstu lub powodować halucynacje na podstawie wykrytego tekstu – chyba że użytkownik zdecyduje się wyłączyć szczegółowe opisy obrazów i polegać na mniej szczegółowych opisach offline. Podsumowując, albo używasz szczegółowych opisów obrazów w obecnej formie, albo nie używasz ich wcale.
Warto zauważyć, że automatyczne wykrywanie nadal wykorzystuje dane offline, w tym wykrywanie tekstu, ale ta metoda jest mniej wygodna – zwłaszcza jeśli włączysz rozpoznawanie ikon i tekstu dla wszystkich elementów, a nie tylko tych nieoznaczonych.
Szczegółowa kontrola odczytu interpunkcji
TalkBack 15.0 wprowadza szczegółową kontrolę odczytu interpunkcji, choć jest ona dość podstawowa.
Można teraz wybrać pomiędzy odczytywaniem wszystkich, większości lub niektórych znaków interpunkcyjnych. Opcja „Wszystkie” odczytuje wszystkie znaki interpunkcyjne, podczas gdy opcja „Niektóre” odczytuje tylko kilka z nich. Funkcja ta nie wpływa na nawigację po znakach i można nią zarządzać z poziomu ustawień szczegółowości lub dodając ją do elementów sterujących czytaniem w sekcji Dostosuj menu w ustawieniach TalkBack.
Nowe polecenia wyboru tekstu za pomocą wyświetlacza brajlowskiego lub klawiatury brajlowskiej TalkBack
Podczas korzystania z obsługiwanego wyświetlacza brajlowskiego lub pisania na klawiaturze brajlowskiej TalkBack można teraz zaznaczać tekst od pozycji kursora do początku lub końca tekstu.
Na monitorze brajlowskim naciśnij akord:
- spacja + Kropki 1, 2, 3, 7, 8, aby zaznaczyć od kursora do początku tekstu;
- spacja + Kropki 4, 5, 6, 7, 8, aby zaznaczyć od kursora do końca tekstu.
Korzystając z klawiatury brajlowskiej TalkBack:
- przytrzymując kropki 4 i 5, a następnie przesuwając dwoma palcami w górę w dowolnym miejscu, Wybierz od kursora do początku tekstu
- , przytrzymując kropki 4 i 5, a następnie przesuwając w dół dwoma palcami w dowolnym miejscu, Przejdź od kursora do końca tekstu.
Pozostałe zmiany
Funkcja „Czytaj od następnego elementu” nosi teraz nazwę „Czytaj od elementu z fokusem ”, aby odzwierciedlić sposób działania tej funkcji – rozpoczyna ona czytanie od aktualnego elementu z fokusem zamiast od następnego elementu.
Niektórzy użytkownicy zgłaszali lepszą responsywność, tj. szybsze działanie TalkBacka, ale nie możemy potwierdzić, czy jest to rzeczywiste, czy tylko efekt placebo i czy ma to zastosowanie na większości urządzeń.
Można teraz otworzyć stronę kontaktową pomocy technicznej Google dla osób niepełnosprawnych z ustawień TalkBack, korzystając z nowej opcji Skontaktuj się z pomocą techniczną dla osób niepełnosprawnych.
Wnioski
Nowa wersja TalkBack nie oferuje wiele poza opisami obrazów opartymi na Gemini, które wciąż wymagają poprawy. Doceniamy ją jednak jako kolejny krok w rozwoju dostępu do Androida.
Informacja (ang.) na blogu accessible Android
Źródło: Accessible Android, informacje własne.
