За 6 ч · источники: Towards Data Science, Analytics Vidhya, Google Analytics Blog
Исследование эффективности агентного RAG и устойчивости моделей рассуждений
В свежем материале Towards Data Science представлены результаты экспериментов, посвященных качеству работы систем на базе больших языковых моделей. Автор протестировал агентный RAG (Agentic RAG) на выборке из 298 вопросов, позволив ИИ-агенту самостоятельно инициировать повторный поиск информации. По данным издания, такой подход позволил найти некоторые документы, которые были упущены при обычном поиске, однако агент также потерял часть релевантных результатов, которые стандартный алгоритм находил успешно. В итоге прирост качества доказательной базы оказался слишком малым, чтобы можно было доверять преимуществам агентного подхода.
Параллельно в том же издании опубликован анализ поведения моделей рассуждения (reasoning models). Экспериментатор поместил неверные ответы перед 200 экзаменационными вопросами, чтобы проверить, как маленькая модель реагирует на «встроенные подсказки». Как сообщает Towards Data Science, модель иногда следовала ложным подсказкам, выдавая правильный конечный ответ, но с ошибочным обоснованием, что демонстрирует проблему расхождения между итоговым результатом и логикой его получения.
Автоматизация рабочих процессов и инструменты для разработчиков
Analytics Vidhya предлагает практическое руководство по созданию «ИИ-сотрудников» на Python, способных выполнять задачи автономно. В качестве примера приводится сценарий, где в 8 утра в пятницу система уже подготовила еженедельный технологический дайджест: исследовательский агент отобрал лучшие ссылки, писатель составил черновик, а редактор выявил и исправил выдуманную статистику. По данным Analytics Vidhya, такая цепочка агентов позволяет автоматизировать рутинные процессы, требуя от человека лишь финального одобрения результата.
Прикладное применение Python в химии и маркетинге
В разделе прикладных данных Towards Data Science опубликован воспроизводимый туториал по предобработке спектров Рамана и моделированию методом наименьших квадратов с неотрицательными ограничениями (Non-Negative Least Squares). Материал демонстрирует использование Python для спектрального разделения (spectral unmixing) на реальных данных in situ конверсии цеолитов, что позволяет отслеживать процесс кристаллизации.
В сфере цифрового маркетинга Google Analytics Blog анонсировал запуск ежемесячной серии Google Marketing Platform Drops. Как сообщает Google Analytics Blog, новая инициатива направлена на предоставление актуальных новостей и инструментов для максимизации возврата на инвестиции (ROI) на всех этапах взаимодействия с клиентом.
Коротко
- Тестирование агентного RAG на 298 вопросах показало, что он находит новые документы, но теряет старые, что делает его преимуществом нестабильным (Towards Data Science).
- Модели рассуждения могут выдавать правильный ответ, опираясь на ложные подсказки, что указывает на проблемы в логике обоснования (Towards Data Science).
- На Python можно настроить автономных ИИ-агентов, которые самостоятельно пишут, проверяют и редактируют контент (Analytics Vidhya).
- Опубликован методический материал по использованию Python для анализа спектров Рамана при изучении кристаллизации цеолитов (Towards Data Science).
- Google запустил ежемесячную серию новостей Google Marketing Platform Drops для оптимизации маркетинговых кампаний (Google Analytics Blog).