Наукові співробітники Apple розробили систему штучного інтелекту ReALM (Reference Resolution as Language Modeling), здатну істотно поліпшити розуміння людини голосовими помічниками і підвищити ефективність їхньої реакції на запити.

В Apple описали систему як спосіб розв'язати проблему розв'язання посилань великими мовними моделями - вона допоможе ШІ інтерпретувати опис користувачем об'єктів на екрані та краще розуміти контекст розмови. У результаті ReALM призведе до більш інтуїтивної та природної взаємодії з пристроями. Роздільна здатність посилань допомагає системам краще розуміти природне мовлення, даючи змогу користувачам у розмові з ШІ користуватися займенниками та іншими непрямими відсиланнями. Для голосових помічників цей аспект взаємодії з людиною традиційно становив значну проблему, і система ReALM зводить її до задачі, яку вирішують на рівні мовної моделі. ШІ починає адекватно сприймати відсилання до візуальних елементів на екрані та інтегрує ці поняття в потік розмови.

ReALM відновлює візуальний макет екрана за допомогою текстових уявлень. Цей процес передбачає аналіз екранних об'єктів і їхніх місць розташування з його переведенням у текстовий формат, що відображає вміст і структуру елементів на екрані. Дослідники Apple виявили, що цей спосіб у поєднанні з тонким налаштуванням мовних моделей значно перевершує традиційні методи, включно з можливостями нейромережі OpenAI GPT-4. ReALM допоможе користувачам гранично просто описувати елементи екрана, а ШІ-помічникам - розуміти такі описи. Ці можливості виявляться корисними, наприклад, при управлінні інформаційно-розважальними системами автомобілів за допомогою голосових команд і підвищать ефективність голосів.