Qwen 2.5 основана на архитектуре
Mixture of Experts (MoE), где «эксперты» — специализированные подмодели — активируются только для конкретных задач. Это снижает энергопотребление на 30% по сравнению с традиционными LLM, что критически важно для экологических проектов.
Для климатического модуля разработчики донастроили модель LLM , которая приобрела дополнительные свойства:
- Мультимодальность— интеграция обработки текста, изображений (например, карт загрязнений) и аудиоданных (отчеты с промышленных объектов).
- Динамическое внимание— алгоритмы выделяют ключевые параметры, такие как уровень выбросов заводов или динамика лесных массивов.
- Обучение с подкреплением (RLHF)— система учится на обратной связи от экологов, минимизируя ошибки в прогнозах13.
Аппаратная база включает кластеры NVIDIA H100 GPU и собственные процессоры Alibaba —
Yitian 710, оптимизированные для работы с MoE-архитектурой.
Интересной инновацией является внедрение модели
Qwen2.5-Omni-7B, оптимизированной для edge-устройств. Новая модель позволит обрабатывать данные локально (например, на датчиках в «умных» городах), снижая зависимость от облачных серверов и ускоряя принятие решений