Google pracuje nad automatycznym opisywaniem zdjęć

Justyna Mądro
Justyna Mądro
Archiwum 11.2014

O tym, że jedno zdjęcie ma moc większą niż tysiąc słów nie trzeba nikogo przekonywać. Zdjęcia pomagają nie tylko w ilustracji tekstu, ale również pełnią funkcję przyciągającą wzrok czytelnika i są doskonałym zapisem wspomnień. Fotografie doskonale podsumowują złożony tekst i wystarczy nam zaledwie kilka sekund, aby poznać treść przekazu. Widząc zdjęcie, potrafimy je natychmiast opisać. Google chce, aby nie tylko człowiek miał taką zdolność. Amerykański gigant pracuje nad specjalnym oprogramowaniem, które będzie mogło samodzielnie stworzyć opis każdego zdjęcia.

System będzie potrafił samodzielnie opisać fotografie, co może znaleźć zastosowanie na wielu płaszczyznach. Przede wszystkim każdy fotograf, w tym również fotograf-amator, będzie mógł zmienić nazwy zdjęć w swoich folderach, nadając im nieco bardziej wyszukane określenie niż DSC_0058. Dodatkowo, kiedy dodamy zdjęcie na naszą stronę internetową, będzie miało ono przygotowany opis. To doskonałe rozwiązanie np. dla osób prowadzących swój e-commerce, gdzie znajdują się setki produktów. Teraz każdy z nich będzie mógł stać się jeszcze bardziej przyjazny dla wyszukiwarki.

Kolejny plus takiego rozwiązania mogłyby zauważyć osoby, które korzystają z internetu na urządzeniu mobilnym i chcą zaoszczędzić swój transfer. Wyłączając wyświetlanie obrazków, mamy nadal możliwość przeczytania ich opisu, nie ponosząc za to dodatkowych kosztów. Podobnie rzecz ma się w krajach, gdzie internet wciąć jest w fazie rozwoju. Co więcej, system automatycznego opisu zdjęć jest także oknem na świat dla osób niedowidzących. Programy, które odczytują osobom niewidomym tekst, mogą ująć także tekst opisu zdjęcia. Renesans przeżyją również wyszukiwarki grafiki, dzięki opisom będą mogły zwrócić jeszcze bardziej dokładne wyniki.

Jak zrodził się pomysł tłumaczenia tego, co w ułamku sekundy rejestruje nasz wzrok? Naukowcy pracowali nad zwiększeniem dokładności automatycznych tłumaczeń tekstów w różnych językach. Wtedy powstał pomysł, aby zamiast tłumaczenia, pierwszy tekst został zastąpiony fotografią. System wykorzystuje zastosowanie algorytmu RNN i systemu analizy obrazu CNN. System CNN odczytuje zawartość zdjęcia, analizuje relacje między obiektami i przekazuje wyniki do interpretacji przez algorytm RNN. Ten z kolei tłumaczy otrzymane informacje na zapis tekstowy.

automatyczne-nazywanie-zdjec-google

Google przeprowadziło testy na przypadkowych zdjęciach, które były dostępne w sieci, m.in. w serwisie Flickr8k, Flickr30k czy Pascal. Wyniki zostały podzielone na te prawidłowe, nie do końca dobre i nieprawidłowe. Poniżej fragment analizy. Wyniki są wyjątkowo zadowalające.

rozpoznawanie-zdjec

Pomysł opisywania zawartości obrazów powstał w trakcie prac nad doskonaleniem automatycznego tłumaczenia. Pierwotnie miało dotyczyć jedynie przechodzenia między językami, ale informatycy wpadli na pomysł, żeby dane wejściowe z języka, który miał zostać przetłumaczony na inny, zastąpić zdjęciem. Odpowiadająca za zrozumienie słów sieć rekurencyjna (RNN – Recurrent Neural Network) została zastąpiona przez tzw. sieć splotową (CNN – Convolutional Neural Network) i okazało się, że można rozpocząć testowanie rozpoznawania obrazów na poziomie wyższym niż dotychczas – See more at: http://www.computerworld.pl/news/399950/Czwartkowy.Przeglad.Prasy.html#sthash.NQoruolc.dpuf

Nowa technologia może być prawdziwym przełomem. Pozostało nam cierpliwie czekać na ostateczne zakończenie prac.

Pomysł opisywania zawartości obrazów powstał w trakcie prac nad doskonaleniem automatycznego tłumaczenia. Pierwotnie miało dotyczyć jedynie przechodzenia między językami, ale informatycy wpadli na pomysł, żeby dane wejściowe z języka, który miał zostać przetłumaczony na inny, zastąpić zdjęciem. Odpowiadająca za zrozumienie słów sieć rekurencyjna (RNN – Recurrent Neural Network) została zastąpiona przez tzw. sieć splotową (CNN – Convolutional Neural Network) i okazało się, że można rozpocząć testowanie rozpoznawania obrazów na poziomie wyższym niż dotychczas – See more at: http://www.computerworld.pl/news/399950/Czwartkowy.Przeglad.Prasy.html#sthash.NQoruolc.dpuf
Justyna Mądro
Od 3 lat pracuje na stanowisku specjalisty ds. social marketingu w agencji interaktywnej Deva Group. Interesuje się działaniami SEM.

Podobał Ci się artykuł? Wystaw 5!
słabyprzeciętnydobrybardzo dobrywspaniały (oceń)
Loading...
Chcesz spróbować? ikona widgetu

Zadzwoń do eksperta AdWords,
aby otrzymać

600zł bonus na reklamę

bezpłatną analizę konta

wstępny plan strategii AdWords

estymację kosztów i efektów

dopasowaną ofertę

Zadzwoń do nas pod numer
800 880 991

Zadzwoń do eksperta
od pozycjonowania,
aby otrzymać

bezpłatną analizę potencjału

niezobowiązującą wycenę

dopasowaną ofertę

Zadzwoń do nas pod numer
800 880 991

Zadzwoń do eksperta
od Facebook Ads,
aby otrzymać

bezpłatną analizę potencjału

niezobowiązującą wycenę

dopasowaną ofertę

Zadzwoń do nas pod numer
800 880 991