Р. Аллахвердиев

Дайджест #2: новые модели недели и корпоративные агенты с лимитами

опубликовано 0a73d6a

Claude Haiku 5.5, GPT-6 в ChatGPT, превью Mistral Large 4 и универсальный агент Gemini. Плюс отчёт Anthropic о злоупотреблениях и очередные выдуманные свидетели в суде.

Claude Haiku 5.5: в разы дешевле Haiku 4.5 и с настройкой effort

Что случилось. 7 октября Anthropic выпустила Claude Haiku 5.5 (claude-haiku-5-5). Цена за миллион токенов для промптов до 100 тыс.: $0,10 на вход и $0,50 на выход против $1 и $5 у Haiku 4.5. Это первая модель линейки Haiku с регулируемым effort; компания называет её самой быстрой и целится в классификацию, саммари, субагентов и живую поддержку. Anthropic отмечает, что новый токенизатор расходует чуть больше токенов на задачу. Бенчмарки, включая OSWorld 2.1 и Terminal-Bench 4.0, приведены самой компанией.

Моё мнение. Для тестировщика это хороший повод пересчитать стоимость LLM-as-a-judge: дешёвая модель позволяет прогонять оценку по нескольку раз. Но дешёвый судья остаётся судьёй, поэтому сначала сверьте его вердикты с размеченной выборкой. Цифры Anthropic я считаю ориентиром; решать надо по прогону на ваших кейсах.

Источник: Anthropic

GPT-6 и Intelligent UI в ChatGPT

Что случилось. С 7 октября OpenAI начала раскатывать GPT-6 в чате ChatGPT вместе с «Intelligent UI»: ответ может включать интерактивные графики, формы и калькуляторы. По сообщению LetsDataScience, платные тарифы получают GPT-6 Sol, а Free и Go — GPT-6 Luna; модели Work и Codex не менялись. Раскатка идёт постепенно, а в Enterprise доступность зависит от настроек администратора.

Моё мнение. Интерактивный ответ — это уже не строка текста, а компонент, и классические проверки «совпадает ли текст» перестают работать. Вместо них нужны проверки корректности расчётов в виджетах и поведения кнопок.

Источник: LetsDataScience

Mistral Large 4: публичное превью, веса обещаны позже

Что случилось. 6 октября Mistral открыла публичное превью Large 4 через Mistral Studio: мультимодальная MoE-модель, контекст 1 млн токенов, вызов функций и структурированный вывод. Веса компания планирует выложить до конца октября «после дополнительной работы над безопасностью»; red teaming идёт, в том числе с партнёрами по кибербезопасности. Лицензия и независимые бенчмарки в источнике не указаны.

Моё мнение. Пока это превью по API, а не открытая модель, и срок выхода весов — план, а не факт. Планировать на нём self-hosted решение рано. Хорошая новость в другом: безопасность перед релизом весов тестируют заранее, и мне интересно, что Mistral покажет по результатам этого red teaming.

Источник: LetsDataScience

Универсальный агент Gemini: свой аккаунт, роли, лимиты бюджета

Что случилось. 8 октября на Gemini at Work 2026 Google представила универсального агента, объединяющего чат, автономную работу и кодинг. Каждый агент получает собственную идентичность и ролевой доступ, действия пишутся в лог под его именем, трафик идёт через Agent Gateway, а админ задаёт жёсткий лимит расходов на проект. Можно выбирать между моделями Google и Claude. Пока доступ только у небольшого числа компаний.

Моё мнение. Хорошо, что идентичность агента, логи и лимит бюджета стали базовыми функциями продукта: это ровно то, что мы просим от агентных систем при аудите. Но это заявленные возможности. Вопрос для проверки: что происходит, когда агент упирается в лимит посреди многошаговой задачи, и можно ли обойти ограничения через инъекцию в письмо или документ. Аналитики в статье тоже говорят, что настоящим тестом станет промышленное использование.

Источник: Reworked

Anthropic: сентябрьский отчёт о злоупотреблениях Claude

Что случилось. Anthropic опубликовала отчёт «Detecting and countering misuse of AI: September 2026» о пресечённых операциях с декабря 2025 по август 2026. Среди кейсов — кибершпионаж, поддельный «дешёвый Claude»-реселлер, который собирал учётные данные пользователей, и операции влияния с сотнями фальшивых аккаунтов. Вывод отчёта: главное различие между акторами теперь не изощрённость, а намерение.

Моё мнение. Для тех, кто строит продукты на API, полезен кейс с реселлером: ключи и доступ к моделям надо получать у провайдера напрямую. Вендорские отчёты видят только то, что вендор сумел обнаружить, поэтому цифры говорят о масштабе выявленного, а не всего. Я бы читал такие отчёты как каталог сценариев злоупотреблений для вашей модели угроз.

Источник: Anthropic

Суд Нью-Мексико оштрафовал адвоката за выдуманных ChatGPT свидетелей

Что случилось. Верховный суд Нью-Мексико 9 сентября признал адвоката в неуважении к суду и оштрафовал на $5000. В апелляции по делу об убийстве были «свидетели», которых придумал ChatGPT, и показания, которых не существовало. Суд вычеркнул прежние брифы, назначил защитника и передал вопрос о поведении адвоката дисциплинарной комиссии. Адвокат объяснил Reuters, что использовал ChatGPT для саммари заседаний и не понимал, как сильно инструмент может выдумывать.

Моё мнение. Здесь модель использовали для пересказа, а не для поиска прецедентов, и это тоже зона галлюцинаций. Faithfulness к исходному материалу нужно проверять везде, где модель суммирует документы. Пока люди отвечают за итоговый текст, процесс должен включать проверку фактов по источникам, а не доверие к гладкому тексту.

Источник: Al Jazeera

Россия: закон об ИИ подписан — что из него важно тестировщику

Что случилось. Напомню контекст осени: 26 июля президент подписал первый в России закон «О поддержке развития технологий искусственного интеллекта в Российской Федерации». Он касается больших фундаментальных моделей от миллиарда параметров, вводит категории суверенных и национальных моделей, а крупные платформы (свыше 500 тыс. пользователей в сутки) должны дать возможность отмечать ИИ-контент. Подзаконные акты, где будут конкретные требования, ещё готовятся.

Моё мнение. Это рамочный закон с акцентом на поддержку и происхождение моделей, а не на требования к тестированию. Для заказчиков в России это сигнал, что вопросы «где обрабатываются ответы» и «какая это модель» будут звучать в закупках. Конкретные требования появятся в подзаконных актах, и я их жду.

Источник: Kod.ru