Специалисты Центра практического искусственного интеллекта Сбербанка сделали открытым доступ к библиотеке SIRIN (Semantic Inconsistency Recognition and Inspection Nexus), предназначенной для выявления вымышленных и неподтвержденных фактов в ответах языковых моделей и ИИ-агентов. Согласно информации, предоставленной ТАСС пресс-службой Сбербанка, этот инструмент предназначен для анализа достоверности ответов моделей, уже применяемый в клиентских сервисах внутри компании и показавший высокую эффективность.

Старший управляющий директор и директор по AI-трансформации Сбербанка Сергей Рябов сообщил: "Мы приняли решение открыть доступ к SIRIN для всех компаний, чтобы стимулировать развитие рынка. Теперь любая компания может использовать эту библиотеку в своих проектах для повышения надежности работы своих моделей".

Отмечается, что библиотека SIRIN объединяет различные методы проверки ответов языковых моделей, предоставляя разработчикам возможность проводить сравнение, комбинирование и выбирать наиболее подходящий подход для определенной задачи. Инструмент способен анализировать как полный ответ модели, так и отдельные текстовые отрывки, выделяя возможные ошибки или неподтвержденные данные. Кроме того, он может оценивать, достаточно ли у ИИ-агента данных для формирования ответа, что способствует предотвращению ошибок за счет отказа от неподтвержденных ответов или запроса дополнительных сведений.

Как отметили в пресс-службе, основой для этой библиотеки послужили исследования Сбербанка в области выявления "галлюцинаций". Исследователи под руководством исполнительного директора по исследованию данных Центра практического ИИ Максима Макаренко разработали метамодели, которые могут повысить точность обнаружения ошибок почти на 30% при использовании всего 250 примеров для обучения.

• Телеграм
• Дзен
• Подписывайтесь на наши каналы и первыми узнавайте о главных новостях и важнейших событиях дня.