Pod koniec ubiegłego roku w sklepie App Store pojawiła się aplikacja Zuzanka. Jest to pierwszy skaner dat ważności na świecie. I choć aplikacja powstała z myślą o osobach niewidomych i słabowidzących, przyda się wszystkim, którzy cenią porządek w kuchni.
Powodów, dla których problem z rozpoznawaniem dat ważności udało się rozwiązać dopiero teraz, jest kilka. Okazuje się, że jest to trudny i skomplikowany proces.
Po pierwsze, nawet dobrze widzące osoby mogą mieć problem ze zlokalizowaniem daty na opakowaniu. A co dopiero osoba niewidoma od urodzenia, która musi bez użycia wzroku zlokalizować miejsce na opakowaniu, na którym znajduje się data ważności. Co więcej, osoba taka może nie mieć doświadczenia z posługiwaniem się kamerą w smartfonie. Co gorsza, nie ma jednego, standardowego miejsca, w którym zawsze musi znaleźć się na danym produkcie jego data ważności. Sytuację pogarsza fakt, iż data jest często napisana bardzo niedużą czcionką, której krój jest bardzo nieprzyjazny w odczycie. Czasem wręcz bywa tak, że jest to seria kropek, które dopiero z większej odległości tworzą obraz czegoś, co przypomina datę. Często sam proces nanoszenia daty ważności na opakowanie jest w jakiś sposób zakłócony i dlatego ma ona niestandardowy rozmiar czy wygląd. I wreszcie kwestia, która może wydać się oczywista, niemniej dla algorytmu komputerowego nie jest łatwa do rozwiązania. Data ważności nie jest jedyną informacją na opakowaniu. Dlatego aplikacja służąca rozpoznawaniu dat ważności musi ją znaleźć, wyodrębnić z innych informacji, odczytać i poprawnie zinterpretować
Ta wielość wyzwań sprawia, że dostępne aplikacje do rozpoznawania tekstu – mimo doskonale rozwiniętej technologii optycznego rozpoznawania znaków (OCR) – mają dużo kłopotów z odnalezieniem i odczytaniem daty ważności. W praktyce albo nie jest ona w ogóle rozpoznawana albo gubi się pomiędzy innymi informacjami, które znajdują się na opakowaniu.
Jedynym rozwiązaniem jest zatem stworzenie od podstaw bazy danych zdjęć dat ważności oraz nauczenie algorytmu, jak rozpoznawać ten nietypowy tekst. To zaś wymaga czasu i zasobów, których nikt do tej pory nie poświęcił na realizację tego celu. Przypuszczalnie jest też bardziej prozaiczny powód, dla którego to dostępnościowe wyzwanie do tej pory nie zostało rozwiązane – realna potrzeba i osoba ją wyrażająca musi spotkać się z zasobami oraz ludźmi, dzięki którym taką potrzebę będzie można zaspokoić. I tak właśnie stało się przy realizacji projektu Zuzanka.
Jak zatem rozwiązano ten problem?
Najpierw trzeba było stworzyć algorytm, dzięki któremu smartfon będzie mógł odczytać datę ważności. W sukurs przychodzą tutaj zaawansowane algorytmy tzw. sztucznej inteligencji (ang. artificial intelligence). Szczególnie przydatne okazało się wykorzystanie technologii, którą można w języku polskim określić terminem „widzenie komputerowe” (ang. computer vision). Nota bene – na tej samej technologii bazują tak sprawdzone aplikacje jak Cash Reader czy Seeing AI. Widzenie komputerowe polega na wychwytywaniu pewnych wzorców na dostarczanych komputerowi obrazach. Dzięki temu maszyna najpierw uczy się, czy na obrazku jest dany przedmiot czy nie. A następnie uczy się go rozpoznawać we wszelkich jego postaciach.
Dokładnie na tej zasadzie działa aplikacja do rozpoznawania dat ważności, którą stworzył zespół programistów z polskiego startupu Zatoichi. Wszystko zaczęło się od rozmowy założyciela startupu, Artura Godlewskiego, z Wojciechem Figlem. – Ponieważ często pytany jestem o to, co w zakresie nowoczesnych technologii można jeszcze zrobić dla osób niewidomych, chętnie podrzuciłem pomysł rozpoznawania dat ważności. Mieszkając z drugą osobą niewidomą, kłopoty z datami ważności są dla nas codziennością – opowiada pan Wojciech.
Jednak, aby algorytm mógł zadziałać, trzeba najpierw dostarczyć mu zdjęcia. Dlatego pierwszym etapem prac nad projektem Zuzanka było wykonanie kilkunastu tysięcy zdjęć dat ważności. Ta ogromna baza danych, niemająca sobie równych nigdzie na świecie, posłużyła do uczenia algorytmu odróżniania tego, co jest datą ważności na opakowaniu od tego, co nią nie jest. Po tej wstępnej obróbce program przekazuje wynik do mechanizmu OCR. Na koniec następuje interpretacja otrzymanego rezultatu i zamiana na jeden ze standardowych formatów dat ważności.
Dla użytkownika końcowego aplikacji Zuzanka te informacje są jednak tylko ciekawostką. Do skorzystania z apki wystarczy bowiem dokładne przestudiowanie samouczka oraz przećwiczenie techniki kierowania aparatu na datę ważności. Wspomniany samouczek pojawia się przy pierwszym uruchomieniu aplikacji, zaraz po zaakceptowaniu polityki prywatności oraz regulaminu korzystania z Zuzanki. Z lektury samouczka dowiemy się, jak korzystać z aplikacji. Mamy tu nie tylko informacje o tym, jak odnaleźć datę ważności, lecz także prezentację sygnałów dźwiękowych, które pomogą nam w nakierowaniu aparatu smartfona we właściwe miejsce. Członkowie zespołu Zatoichi, w trakcie przygotowywania bazy zdjęć z datami ważności, zauważyli pewne prawidłowości w umiejscowieniu dat ważności na opakowaniach różnych produktów spożywczych. Te informacje znajdziemy pod przyciskiem „Gdzie szukać daty ważności”, który dostępny jest na ekranie głównym aplikacji.
Projektując i testując interfejs z niewidomymi i słabowidzącymi użytkownikami, zadbano o to, by możliwie jak najłatwiejsze było odnalezienie daty na opakowaniu. Aby uprościć ten proces, aplikacja wydaje trzy rodzaje sygnałów dźwiękowych. Krótkie piszczenie oznacza, że aktywny jest skaner dat ważności. Dłuższe piszczenie oznacza, że skaner wykrył coś, co może być datą ważności, ale nie jest jeszcze tego pewien. I wreszcie szybkie piszczenie zwiastuje rychłe rozpoznanie daty ważności. Nie trzeba robić zdjęcia – wystarczy przytrzymać telefon przez chwilę, kierując kamerę na datę ważności.
Po zeskanowaniu daty (i automatycznym odczytaniu jej przez głos syntetyczny) mamy do dyspozycji kilka opcji. Możliwe jest wyeksportowanie wyniku – np. do kalendarza czy notatek. Można także wysłać obraz – np. za pośrednictwem komunikatora – znajomemu. Żaden system sztucznej inteligencji nie gwarantuje 100% trafności – dlatego aplikacja ma te „bezpieczniki”, aby nie zostawiać użytkownika sam na sam z niepewnością, czy rzeczywiście dany produkt jest przeterminowany.
Ideą twórców jest to, by aplikacja była prosta i nie zawierała zbyt wielu opcji. Toteż można z niej skorzystać bez ustawiania czegokolwiek – natychmiast po uruchomieniu. Bardziej dociekliwy użytkownik może ustawić w menu parametry syntezy mowy czy latarki. Dla osób słabowidzących przygotowano także tryb ciemny oraz możliwość powiększenia czcionki rozpoznanej daty ważności. Przy czym aplikacja używa wyłącznie czcionek dynamicznych. Zatem w przypadku powiększenia przez użytkownika czcionki systemowej w ustawieniach, czcionki w aplikacji Zuzanka będą automatycznie się zwiększać.
Pomimo, że aplikacja dostępna jest w sklepie App Store dopiero od kilku tygodni, można powiedzieć, że odniosła sukces. – Większość naszych użytkowników pochodzi z Polski, ale dzięki skutecznej promocji aplikacja pobierana jest na całym świecie – od Stanów Zjednoczonych, przez Republikę Południowej Afryki, na Tajwanie kończąc – wyjaśnia Artur Godlewski.
Nie jest to koniec planów zespołu Zatoichi. Trwają prace nad udostępnieniem Zuzanki w sklepie Google Play. Ponadto jest wiele pomysłów na to, o jakie funkcjonalności warto usprawnić Zuzankę. Często wymienianą przez niewidomych i słabowidzących testerów funkcją wartą wdrożenia jest odczytywanie kodów kreskowych produktów. Po zaimplementowaniu tej funkcjonalności otrzymamy możliwość skanowania dat ważności i łączenia ich z rozpoznanymi produktami, jak również np. sprawdzania ich składu czy sposobu przygotowania.
