Стихи — одна из любимых тем исследователей искусственного интеллекта. Google создал модель машинного обучения, чтобы помочь пользователям сочинять стихи, Microsoft — преобразования изображений в китайскую поэзию. В сети появился новый ИИ который, который превращает стихи в картинки.

На новом видео, созданном компьютерным художником и аниматором Гленном Маршаллом, автор показал, как использует ИИ для повествования и создания визуализаций для стихов.

Анимация основана на стихотворении «В мрачной середине зимы» (In the Bleak Midwinter), написанном английской писательницей XIX века Кристиной Россетти. Несмотря на не самые сложные анимации, а скорее GIF-файлы с низким разрешением, визуализация соответствует настроению стихотворения.

Маршалл использовал библиотеку Story2Hallucination для преобразования слов в видео. Интересно увидеть некоторые части видео, интерпретирующие слова стихотворения в буквальном смысле.

Для повествования в видео используется инструмент vo.codes, заимствовавший голос Кристофера Ли.

Создание визуализаций из текста становится все более распространенным вариантом использования моделей ИИ. В прошлом месяце OpenAI представил новую библиотеку под названием DALL-E, которая преобразует слова и фразы в изображения.