Программа и гости
В выпуске Paper Club от Y Combinator (около 1 часа 50 минут 48 секунд), который ведёт Y Combinator, исследователи и предприниматели, в том числе участники команды Together AI и других команд, обсуждают инференс. В статье собраны основные аргументы дискуссии без указания авторства каждого высказывания.
Основные положения
(Ниже передан смысл высказываний гостей; ссылки с временными отметками ведут к соответствующим моментам оригинального видео.)
- Инференс важнее обучения в 12 раз: например, на обучение DeepSeek V3, данные о котором опубликованы, было потрачено около 2,8 млн часов H800, а на обслуживание ежедневно уходит около 43 тыс. часов H800. Для одного файла весов годовой объём вычислений на инференс примерно в 6 раз превышает объём вычислений на обучение; за срок жизни в 2 года он больше в 12 раз. Чем больше пользователей, тем выше эта доля. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=101s）
- За последние 10 лет оптимизация инференса создала около 220 млрд долларов США рыночной стоимости: инференс — это не только вызов модели, но и полный стек, включающий маршрутизацию, кеширование, планирование, ядра, видеопамять и оборудование. На каждом этапе приходится искать баланс между скоростью, стоимостью и качеством. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=61s）
- Стек обслуживания — поле битвы за издержки: от маршрутизации отдельных запросов до незаметных изменений во всём стеке обслуживания каждый уровень влияет на стоимость и задержку в расчёте на токен. Компании, которые плохо справляются с инференсом, «потеряют последнюю рубашку» на себестоимости продаж. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=627s）
- Значение инференса продолжает расти: по мере распространения ИИ и увеличения числа пользователей одного и того же файла весов доля инференса в общем объёме вычислений будет только расти, а соотношение значимости обучения и инференса придётся пересчитать. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=131s）
Контекст и пояснения
Субтитры охватывают всё видео (около 1 часа 50 минут 48 секунд). В статье собраны основные аргументы дискуссии; поскольку в выпуске участвуют несколько человек, высказывания не приписываются отдельным спикерам, а представлены как общие аргументы программы. Временные отметки ведут к соответствующим фрагментам обсуждения.