Технозаметки Малышева

05 October 2024 09:34

China Telecom обучает триллионную LLM на чипах Huawei

China Telecom разрабатывает две крупномасштабные языковые модели:
• TeleChat2-115B с более чем 100 млрд параметров
• Вторая модель (название пока не известно) приближается к 1 триллиону параметров

Обучение проводится на десятках тысяч отечественных (китайских) чипов, преимущественно от Huawei.

Huawei позиционируется как локальная альтернатива Nvidia и активно тестирует свой новый процессор Ascend 910C, которых, для примера, ByteDance (разработчики TikTok) уже заказали около 100тыс штук.

Курс на создание автономных решений инициирован в ответ на экспортные ограничения США на высокопроизводительные GPU.

#ChinaTelecom #Huawei #Китай
-------
@tsingular