Sztuczna inteligencja (AI) zrewolucjonizowała wiele aspektów naszego życia, a jej potencjał w kreatywnych przedsięwzięciach jest nadal badany przez naukowców z całego świata. Niedawno dwóch badaczy z firmy technologicznej PeopleTec z siedzibą w Alabamie opracowało model komputerowy, który może tworzyć złożone przepisy ze składników, które użytkownicy mają pod ręką, po przeanalizowaniu zdjęć tego, co znajduje się w ich lodówce. Ten model łączy duży model językowy i detektor obrazu i może generować przepisy wraz z instrukcjami i rozmiarami porcji.

Projekt

Obraz: Nigdy i nigdy, (2023).

Celem projektu było pokazanie ostatnich postępów w dziedzinie sztucznej inteligencji w praktyczny i użyteczny sposób. Aby osiągnąć generowanie przepisów z obrazów, naukowcy wykorzystali modelowe interfejsy programowania aplikacji (API) do analizy obrazu, a także generator tekstu, który leży u podstaw ChatGPT.

Model opiera się na połączeniu dużego modelu językowego i detektora obrazu, który identyfikuje obiekty na obrazach. Główną ideą było połączenie surowców i składników receptury za pomocą analizy obrazu, a następnie poproszenie modelu językowego o zbudowanie wiarygodnego przepisu kulinarnego, w tym oczekiwanego tytułu, proporcji i kroków. Ponadto model może uwzględniać różne ograniczenia, takie jak koszt żywności, wielkość porcji i ograniczenia dietetyczne.

Ocena modelu

Model został oceniony w serii testów, przy użyciu ponad 2000 zdjęć otwartych lodówek z różnymi składnikami w środku. Korzystając z tych obrazów, model wygenerował 100-stronicową książkę kucharską z ciekawymi i unikalnymi przepisami zawierającymi 30 najlepszych składników znalezionych na obrazach wejściowych.

Model ma możliwość uwzględnienia różnych ograniczeń, takich jak koszt żywności, wielkość porcji i ograniczenia dietetyczne. Dodatkowo model może generować przepisy na różne kombinacje składników, dzięki czemu jest przydatny zarówno dla amatorów, jak i doświadczonych kucharzy.

Przyszłość projektu

Kolejnym krokiem naukowców jest opracowanie aplikacji mobilnej, która może zrobić zdjęcie prawdziwej lodówki i wygenerować listę dostępnych składników, bez ograniczeń co do wykorzystania wszystkich składników. Umożliwiłoby to użytkownikom mieszanie i dopasowywanie dostępnych składników w celu stworzenia przepisu odpowiadającego ich potrzebom.

Projekt naukowców PeopleTec może zainspirować inne zespoły na całym świecie do wykorzystania modeli językowych i innych modeli sztucznej inteligencji w zadaniach związanych z generowaniem receptur lub innych kreatywnych problemów.

Ten projekt pokazuje potencjał sztucznej inteligencji do pomocy w kreatywnych i praktycznych zadaniach. Zdolność modelu do dostosowania się do różnych ograniczeń i generowania receptur dla różnych kombinacji składników jest imponująca. Tego rodzaju aplikacje mogą również pomóc osobom, które mają trudności z planowaniem posiłków, zwłaszcza osobom z ograniczeniami dietetycznymi.