Lewi Surge Preview
Відкрита мовна модель типу mixture-of-experts для програмування, натренована з нуля однією людиною на безкоштовному й подарованому компюті. Поточна модель — Lewi Surge Preview.
- Параметрів
- 3,45 млрд
- Активних на токен
- ≈0,5 млрд
- Експертів
- 128, топ-6 + 1 спільний
- Контекст у тренуванні
- 128k токенів
Результати
Виміряно на базовій моделі до й після annealing з акцентом на код. Без хитрощів і підібраних промптів: жадібне декодування, стандартні промпти, локальні прогони.
| Бенчмарк | Метрика | До | Після annealing |
|---|---|---|---|
| HumanEval | pass@1 | 18,9% | 25,0% |
| MBPP (sanitized) | pass@1 | 23,7% | 29,6% |
| HellaSwag | acc_norm | 41,9% | 43,4% |
| ARC-Challenge | acc_norm | 26,5% | 27,4% |
Бенчмарки на знання (ARC) на такому розмірі майже не рухаються; для цього і є наступні етапи та більша модель.
Архітектура
Шістнадцять шарів у чотирьох однакових блоках. Три шари лінійної уваги Gated DeltaNet тримають пам'ять фіксованого розміру, кожен четвертий шар — повна увага. Кожен шар направляє токен до 6 із 128 малих експертів і одного спільного.
- Gated DeltaNet (лінійна увага)
- Повна увага
- Експерти, які бере один токен
Чому довгий контекст тут дешевий
Кеш ключів і значень тримають лише чотири шари з шістнадцяти, по дві KV-голови. Це близько 4 КБ на токен: контекст на 128k токенів займає приблизно пів гігабайта, тож довгі документи й цілі репозиторії працюють на звичайному залізі.
Журнал тренування
- Етап 1Модель на 1,4 млрд, натренована з нуля на англійській, коді, математиці й українській.
- РістВирощена до 3,45 млрд: удвічі більше експертів і ще один блок шарів, без перезапуску.
- Претрейн з акцентом на код1,6 млрд токенів відібраного коду, інструкцій і підручників на H200.
- Annealing1,4 млрд токенів, з них більше половини — діалоги, швидкість навчання спадає до нуля.
- ДотренуванняПоведінка в чаті на діалогах до 16k токенів.
- ЗаразРозширення контексту до 128k і друге дотренування на TPU v5e.
Що далі
Міркування й інструменти
Дотренування на покрокових міркуваннях і викликах інструментів.
Навчання на тестах
Навчання з підкріпленням, де код отримує винагороду, лише коли проходять його тести.
Зображення й відео
Енкодери зору, підключені через натреновані проєктори.
Lewi Surge 24B2A
Повнорозмірна модель, вирощена з preview.
Відкрито за замовчуванням
Код тренування вже відкритий на GitHub. Ваги з'являться на Hugging Face під відкритою ліцензією разом зі скриптами оцінювання. Українська — одна з головних мов Lewi.