Diskusní fórum webu fotobanky.cz

[Noldo]

Rád by som sa podelil o nástroj na automatické keywordovanie fotiek. Ide o sadu python skriptov, ktorá je aktuálne nastavená na môj workflow, čiže zapíše do IPTC metadát obrázku 50 keywordov. Keywordy vznikajú kombináciou tzv. Search-based annotation a výstupov konvolučných neurónových sietí. Prvá rozoznáva a vystrihuje objekty na obrázku, druhá sa ich snaží podrobne pomenovať.

Celá pipeline je modulárna a nastavitelná a je možné sledovať výstupy jednotlivých častí a na základe toho voliť lepšie nastavenia alebo iné modely neurónových sietí. Stiahnuť a vyskúšať si ju môžete tu:
https://github.com/MichalCervenansky/Au ... tock-Sites

Zároveň sa jedná o moju zatiaľ neobhájenú diplomku, ak by niekoho zaujímalo ako presnejšie to funguje, tak sa to dočíta práve v nej:
http://michal.cervenansky.eu/dt_dataset ... _Sites.pdf

Na záver by som chcel poprosiť o spätnú väzbu. Vidím ešte priestor na zlepšenie, prípadne využitie iných metód. Ak by sa tu rozpútala diskusia bola by to motivácia na ďalší vývoj.

Vďaka, Michal.

[admin]

Na záver by som chcel poprosiť o spätnú väzbu. Vidím ešte priestor na zlepšenie, prípadne využitie iných metód. Ak by sa tu rozpútala diskusia bola by to motivácia na ďalší vývoj.

Vďaka, Michal.

Nooo pokud bys to zpřístupnil jako EXE soubor pro windows (bez nutnosti ručně instalovat python a další), tak by si to zkusilo řádově více lidí

[shalom3]

Vypadá to lákavě na první zběžný pohled. Předpokládám, že to bude použitelné i pod Linuxem. Tam už nějaký python je, určitě v rámci Blenderu je k vidění knihovna 3.7 (vypadá to, že python je součástí Blenderového appimage balíku). Kdyby byl u tohoto programu k dispozici nějaký appimage, tak do toho jdu okamžitě. Jinak výhledově to zkusím zprovoznit, pokud to zvládnu (moje znalosti Linuxu jsou zatím celkem minimalistické).

[PandaWild]

...Nooo pokud bys to zpřístupnil jako EXE soubor pro windows (bez nutnosti ručně instalovat python a další), tak by si to zkusilo řádově více lidí

Mám obavu že tohle nepůjde, oni dělají neuronové sítě hlavně pod Pythonem (fakt netuším proč) a do EXE neumí kód převést. A ty pythonovské skripty pro neuronové sítě bývá obvykle prakticky nemožné zprovoznit pod Windows, alespoň mně se to nikdy nepodařilo (hlavně Tensorflow, i když ten vidím že jeho instalaci pod Windows autor popisuje).

[Noldo]

Po rýchlom googlení by sa mi to mohlo podariť z exečkovať dokonca aj s tensorflowom. Keď zapnem windowsácky počítač, tak to skúsim.

Neurónové siete sa vyvíjajú v pythone čisto kvôli komfortnej práci s datami(balík pandas a štruktúra dataframe) a dobrej dostupnosti knižníc či už Tensorflow, Pytorch,... Samotné knižnice sú predkompilované v cpp takže samotný beh je už relatívne efektívny. Aj keď tým, že som použil asi najväčšie dostupné modely, tak je beh naozaj pomalý. U mňa to je asi 90 sekúnd štart tensorflow prostredia a načítanie modelov do ramky. Anotácia každej ďalšej fotky potom trvá asi 30 sekúnd. Ak by mal niekto grafiku kompatibilnú s tensorflow-om, tak by to valilo rýchlejšie, toto sú čísla z notebooku na i7 bez grafiky.

Je to platformovo nezávislé i keď Mac som neskúšal(nemám k dispozícií). Na linuxoch a Macoch je python nainštalovaný spolu s operačným systémom, na Windowse ho treba nainštalovať ručne, to však naozaj nie je problém.

Ešte mi napadlo, že môžem ukázať výsledky na nejakých náhodných fotkách:
http://michal.cervenansky.eu/dt_dataset ... words.html
Prvých pár keywordov je rozsekaná image caption

[PandaWild]

...Ak by mal niekto grafiku kompatibilnú s tensorflow-om, tak by to valilo rýchlejšie,...

Což myslím znamená grafická karta nVidia s CUDA.

[Noldo]

Presne tak, podporované sú iba karty s CUDA jadrami a myslím, že potom treba ten tensorflow aj špeciálne inštalovať.

Tu je sľúbené exe-čko:
http://michal.cervenansky.eu/dt_dataset ... notate.zip
Po rozbalení zipka je tam annotate.exe. Sú v tom zabalené aj knižnice a modely neurónových sietí, takže nezľaknúť sa, že to má 4.9 GB. Ak by s tým bol nejaký problém dajte vedieť.

Ešte mi napadlo, že by som ukázal aké kľúčové slová to produkuje:
http://michal.cervenansky.eu/dt_dataset ... words.html
Prvých zhruba 5 kľúčových slov je rozsekaná image caption, takže tie treba brať s rezervou.

[PandaWild]

Na čem je to trénované, ručním zadáváním, nebo na fotobankách, nebo nějaká všeobecná databáze?

Bylo by možné sestavovat i titulky (popisky) fotek? Generování keywords podle titulku bych si uměl představit, ale samotné vygenerování titulku z obrazu by mohlo být také docela zajímavé, alespoň jako výchozí polotovar pro úpravu. V tom případě by se ale muselo trénovat na titulcích uživatele, aby se to naučilo používat jeho obvyklé konvence. To by mohl být docela dobrý pomocník při popiskách.

[Noldo]

Nástroj kombinuje rôzne techniky. Pri neurónových sieťach sa používajú už pretrénované modely, takto všeobecný model nie je možné natrénovať na bežnom počítači v rozumnom čase. Search-based annotation, to je tá časť, ktorá nájde podobné obrázky a zoberie z nich kľúčové slová podobne ako by som to spravil ja napríklad na https://microstockgroup.com/tools/keyword.php, používa databázu 20 miliónov obrázkov, ktoré poskytla Profimedia na výzkumné účely fakulte.

Generovanie keywordov podľa titulky - image caption už predo mnou kolegovia skúšali a vraj boli výsledky horšie ako pri použití vizuálnej podobnosti obrázku. O generovaní titulky z obrázku som čítal a posledný rok o tom aj vyšlo zopár článkov a napríklad tu je "návod" ako na to:
https://www.analyticsvidhya.com/blog/20 ... ensorflow/