Коротко
В статье разбирается, как Thomson Reuters адаптировала открытые модели под юридические, налоговые и журналистские задачи с помощью отборочного обучения, слияния весов и постобучения. Главный вывод автора: для крупной компании ценность не только в итоговой модели, но и в воспроизводимой «фабрике моделей», которая позволяет использовать собственные данные и инструменты, не передавая их внешнему поставщику.
Контекст
Автор продолжает объяснять собственный «имаго-подход» к адаптации моделей и рассматривает его корпоративный масштаб на примере Thomson Reuters. По описанию статьи, компания собрала команду примерно из 30 исследователей и за три месяца разработала специализированные модели для права, налогов и журналистики, опираясь на открытые чекпойнты и внутреннюю инфраструктуру.
Главное
- В основе Thomson-1.0-Large лежит Qwen3.5–397B с 17 млрд активных параметров, а в Thomson-1.0-Small — Qwen3.6–35B.
- Работы велись три месяца с использованием 368 GPU B200. Финальный прогон Large, по статье, занял три недели и стоил менее $450 000.
- Общие расходы на разработку указаны как $40 млн; автор поясняет, что большая часть суммы пошла на переиспользуемые исследования и инфраструктуру, а не на один обучающий прогон.
- Корпоративный конвейер описан через три этапа: настройка ценностей и поведения, продолженное обучение на корпоративных знаниях, затем полировка и обучение работе с инструментами.
- Из корпуса объёмом свыше 19 трлн токенов для обучения оставили около 200 млрд, отсеяв более 98%. Выборка включала примерно поровну внутренние документы, их синтетические пересказы в виде уроков и общие данные для защиты от забывания.
- После промежуточного обучения веса модели смешивали с исходным чекпойнтом. По изложению автора, этот подход лучше сохранял общие способности и усиливал адаптацию к предметной области, чем проверенные варианты регуляризации.
- В статье говорится, что отдельный этап SFT пропустили: авторы связывали его с быстрым ухудшением других способностей модели.
- Финальная настройка включала два этапа: DPO и обучение с подкреплением (RL), в том числе для работы с набором инструментов организации.
- По приведённым агрегированным тестам Thomson Large набрала 78,5%, Claude Sonnet 5 — 75,7%, а Claude Opus 4.8 — 79,5%. В статье отдельно отмечено, что Thomson заметно уступает в кодинге.
Как сделано
Сначала модель настраивали под корпоративные ценности: нежелательное поведение корректировали правками весов, а затем закрепляли обучением; в исследованных вариантах применялась LoRA-адаптация. Далее выполняли mid-training на тщательно отобранных закрытых данных и общих данных для сохранения базовых навыков. После обучения чекпойнт смешивали с исходной моделью, а не полагались только на ослабление обучения через низкий learning rate, LoRA или короткое расписание.
На заключительном этапе модель дорабатывали через DPO и RL, обучая пользоваться внутренними инструментами. Автор сопоставляет это с архитектурой из харнесса, RAG и адаптеров: быстро меняющиеся факты разумно держать в RAG, корпоративные привычки — в адаптерах, а более устойчивые знания — в весах.
Результаты
Статья сообщает, что Thomson-1.0-Large достигла 78,5% на агрегированных бенчмарках, оказавшись между Claude Sonnet 5 (75,7%) и Claude Opus 4.8 (79,5%). По описанию автора, у Thomson улучшились длинный контекст и агентные задачи, но ухудшились навыки кодинга — область, на которую модель не настраивали. Практический результат проекта автор видит также в создании повторяемого конвейера для адаптации моделей на корпоративных данных.
Ограничения
В пересказе не приведены названия и подробные результаты отдельных бенчмарков, поэтому агрегированные проценты трудно оценить независимо; автор также не описывает условия сравнения моделей. Не сообщаются стоимость эксплуатации и выгода относительно облачных моделей. Указанные затраты и результаты представлены как сведения статьи, а не независимо проверенные данные. Модель оптимизировали не для кодинга, и именно там автор отмечает ухудшение; юридические ответы, по его словам, сложнее проверять автоматически, чем код тестами и компиляторами.
Что взять себе
- Не начинайте с обучения большой модели: сначала соберите и отберите качественные корпоративные данные.
- Разделяйте знания по скорости изменения: свежие факты храните в RAG, устойчивые предметные знания — в весах, а рабочие привычки — в адаптерах.
- Для небольших наборов инструктивных примеров LoRA может быть удобным стартом, но продолженное обучение на огромных корпусах требует других приёмов и может выиграть от слияния весов.
- Проверяйте забывание и влияние обучения на способности, которые не являются основной целью адаптации.
Читать оригинал, если…
Откройте оригинал, если вам нужны первоисточники по экспериментам, состав конкретных бенчмарков и подробности реализации корпоративного конвейера.