TurboQuant on MLX: 4.6x KV cache compression with custom Metal kernels (Qwen 32B at 98% FP16 speed)

INVESTOR

⚡ Уверенность: 🟡 средняя Кластер новостей указывает на значительный прогресс в оптимизации инференса LLM, что создает инвестиционные возможности в компаниях, использующих эти технологии для снижения операционных издержек и повышения производительности. vLLM предлагает 2-24x увеличение пропускной способности по сравнению с HuggingFace Transformers, что критически важно для масштабирования LLM-сервисов . TurboQuant на MLX демонстрирует 4.6x сжатие KV-кэша с сохранением 98% скорости FP16, что значительно снижает требования к памяти для больших контекстов (например, 4.2GB до 897MB для Qwen 32B) . Эти инновации напрямую влияют на юнит-экономику компаний, предоставляющих LLM-сервисы, позволяя им предлагать более конкурентоспособные цены или увеличивать маржинальность. Рынок инфраструктуры для LLM, оцениваемый в десятки миллиардов долларов и растущий двузначными темпами, является основным бенефициаром этих улучшений.

Риски:

• Отсутствие прямой монетизации: vLLM и TurboQuant являются открытым исходным кодом без прямой бизнес-модели, что исключает прямые инвестиции в эти проекты. Инвесторам необходимо идентифицировать компании, успешно интегрирующие и монетизирующие эти технологии.

• Высокая конкуренция и быстрая смена технологий: Рынок оптимизации инференса LLM крайне динамичен. Сегодняшние «самые быстрые» или «наиболее эффективные» решения могут быть быстро превзойдены новыми разработками, что требует постоянной адаптации и инвестиций в R&D.

• Зависимость от экосистемы: TurboQuant на MLX оптимизирован для аппаратного обеспечения Apple (Metal kernels), что ограничивает его применимость и потенциальный рынок за пределами этой экосистемы.

Возможности:

• [

• "

• И

• н

• в

• е

• с

• т

• и

• ц

• и

•

• в

•

• п

• о

• с

• т

• а

• в

• щ

• и

• к

• о

• в

•

• L

• M

• -

• и

• н

• ф

• р

• а

• с

• т

• р

• у

• к

• т

• у

• р

• ы

• :

•

• К

• о

• м

• п

• а

• н

• и

• ,

•

• п

• р

• е

• д

• л

• а

• г

• а

• ю

• щ

• и

• е

•

• у

• п

• р

• а

• в

• л

• я

• е

• м

• ы

• е

•

• с

• е

• р

• в

• и

• с

• ы

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• L

• M

•

• и

• л

• и

•

• п

• л

• а

• т

• ф

• о

• р

• м

• ы

•

• д

• л

• я

•

• р

• а

• з

• в

• е

• р

• т

• ы

• в

• а

• н

• и

• я

• ,

•

• к

• о

• т

• о

• р

• ы

• е

•

• а

• к

• т

• и

• в

• н

• о

•

• и

• с

• п

• о

• л

• ь

• з

• у

• ю

• т

•

• v

• L

• M

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• A

• n

• y

• s

• c

• a

• l

• e

• ,

•

• M

• i

• s

• t

• r

• a

• l

• ,

•

• D

• a

• t

• a

• b

• r

• i

• c

• k

• s

• ,

•

• у

• п

• о

• м

• я

• н

• у

• т

• ы

• е

•

• в

•

• D

• o

• c

•

• 1

• 6

• 9

• 5

• 1

• )

• ,

•

• м

• о

• г

• у

• т

•

• з

• н

• а

• ч

• и

• т

• е

• л

• ь

• н

• о

•

• у

• л

• у

• ч

• ш

• и

• т

• ь

•

• с

• в

• о

• ю

•

• ю

• н

• и

• т

• -

• э

• к

• о

• н

• о

• м

• и

• к

• у

•

• и

•

• к

• о

• н

• к

• у

• р

• е

• н

• т

• о

• с

• п

• о

• с

• о

• б

• н

• о

• с

• т

• ь

• .

• "

• ,

•

• "

• Р

• а

• з

• р

• а

• б

• о

• т

• к

• а

•

• с

• п

• е

• ц

• и

• а

• л

• и

• з

• и

• р

• о

• в

• а

• н

• о

• г

• о

•

• а

• п

• а

• р

• а

• т

• н

• о

• г

• о

•

• о

• б

• е

• с

• п

• е

• ч

• е

• н

• и

• я

• :

•

• К

• о

• м

• п

• а

• н

• и

• ,

•

• с

• о

• з

• д

• а

• ю

• щ

• и

• е

•

• и

• л

• и

•

• о

• п

• т

• и

• м

• и

• з

• и

• р

• у

• ю

• щ

• и

• е

•

• а

• п

• а

• р

• а

• т

• н

• о

• е

•

• о

• б

• е

• с

• п

• е

• ч

• е

• н

• и

• е

•

• д

• л

• я

•

• э

• ф

• е

• к

• т

• и

• в

• н

• о

• г

• о

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• L

• M

• ,

•

• о

• с

• о

• б

• е

• н

• о

•

• с

•

• у

• ч

• е

• т

• о

• м

•

• т

• а

• к

• и

• х

•

• т

• е

• х

• н

• о

• л

• о

• г

• и

• й

• ,

•

• к

• а

• к

•

• P

• a

• g

• e

• d

• A

• t

• e

• n

• t

• i

• o

• n

•

• и

•

• K

• V

• -

• к

• э

• ш

•

• с

• ж

• а

• т

• и

• е

• ,

•

• м

• о

• г

• у

• т

•

• п

• о

• л

• у

• ч

• и

• т

• ь

•

• п

• р

• е

• и

• м

• у

• щ

• е

• с

• т

• в

• о

•

• н

• а

•

• р

• ы

• н

• к

• е

• .

• "

• ,

•

• "

• Р

• а

• з

• в

• и

• т

• и

• е

•

• р

• е

• ш

• е

• н

• и

• й

•

• д

• л

• я

•

• E

• d

• g

• e

•

• A

• I

• /

• O

• n

• -

• d

• e

• v

• i

• c

• e

•

• L

• M

• :

•

• Т

• е

• х

• н

• о

• л

• о

• г

• и

• ,

•

• п

• о

• д

• о

• б

• н

• ы

• е

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

• ,

•

• з

• н

• а

• ч

• и

• т

• е

• л

• ь

• н

• о

•

• с

• н

• и

• ж

• а

• ю

• щ

• и

• е

•

• т

• р

• е

• б

• о

• в

• а

• н

• и

• я

•

• к

•

• п

• а

• м

• я

• т

• и

• ,

•

• о

• т

• к

• р

• ы

• в

• а

• ю

• т

•

• н

• о

• в

• ы

• е

•

• в

• о

• з

• м

• о

• ж

• н

• о

• с

• т

• и

•

• д

• л

• я

•

• р

• а

• з

• в

• е

• р

• т

• ы

• в

• а

• н

• и

• я

•

• м

• о

• щ

• н

• ы

• х

•

• L

• M

•

• н

• а

•

• у

• с

• т

• р

• о

• й

• с

• т

• в

• а

• х

•

• с

•

• о

• г

• р

• а

• н

• и

• ч

• е

• н

• ы

• м

• и

•

• р

• е

• с

• у

• р

• с

• а

• м

• и

• ,

•

• ч

• т

• о

•

• я

• в

• л

• я

• е

• т

• с

• я

•

• р

• а

• с

• т

• у

• щ

• и

• м

•

• с

• е

• г

• м

• е

• н

• т

• о

• м

•

• р

• ы

• н

• к

• а

• .

• "

• ]

•

• 🔭

•

• О

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

• :

•

• [

• "

• П

• о

• я

• в

• л

• е

• н

• и

• е

•

• к

• о

• м

• е

• р

• ч

• е

• с

• к

• и

• х

•

• п

• р

• о

• д

• у

• к

• т

• о

• в

• /

• с

• е

• р

• в

• и

• с

• о

• в

•

• н

• а

•

• б

• а

• з

• е

•

• v

• L

• M

• /

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

• :

•

• О

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

•

• к

• о

• м

• п

• а

• н

• и

• ,

•

• к

• о

• т

• о

• р

• ы

• е

•

• о

• б

• ъ

• я

• в

• л

• я

• ю

• т

•

• о

•

• н

• о

• в

• ы

• х

•

• п

• р

• о

• д

• у

• к

• т

• а

• х

•

• и

• л

• и

•

• з

• н

• а

• ч

• и

• т

• е

• л

• ь

• н

• ы

• х

•

• у

• л

• у

• ч

• ш

• е

• н

• и

• я

• х

•

• с

• в

• о

• и

• х

•

• с

• е

• р

• в

• и

• с

• о

• в

• ,

•

• п

• р

• я

• м

• о

•

• с

• ы

• л

• а

• я

• с

• ь

•

• н

• а

•

• и

• с

• п

• о

• л

• ь

• з

• о

• в

• а

• н

• и

• е

•

• э

• т

• и

• х

•

• т

• е

• х

• н

• о

• л

• о

• г

• и

• й

• ,

•

• и

•

• д

• е

• м

• о

• н

• с

• т

• р

• и

• р

• у

• ю

• т

•

• у

• л

• у

• ч

• ш

• е

• н

• и

• е

•

• ф

• и

• н

• а

• н

• с

• о

• в

• ы

• х

•

• п

• о

• к

• а

• з

• а

• т

• е

• л

• е

• й

• .

• "

• ,

•

• "

• Н

• о

• в

• ы

• е

•

• б

• е

• н

• ч

• м

• а

• р

• к

• и

•

• п

• р

• о

• и

• з

• в

• о

• д

• и

• т

• е

• л

• ь

• н

• о

• с

• т

• и

• :

•

• С

• л

• е

• д

• и

• т

• ь

•

• з

• а

•

• н

• е

• з

• а

• в

• и

• с

• и

• м

• ы

• м

• и

•

• т

• е

• с

• т

• а

• м

• и

•

• и

•

• б

• е

• н

• ч

• м

• а

• р

• к

• а

• м

• и

• ,

•

• к

• о

• т

• о

• р

• ы

• е

•

• с

• р

• а

• в

• н

• и

• в

• а

• ю

• т

•

• v

• L

• M

•

• и

•

• а

• н

• а

• л

• о

• г

• и

• ч

• н

• ы

• е

•

• р

• е

• ш

• е

• н

• и

• я

•

• с

•

• н

• о

• в

• ы

• м

• и

•

• к

• о

• н

• к

• у

• р

• е

• н

• т

• а

• м

• и

• ,

•

• ч

• т

• о

• б

• ы

•

• о

• ц

• е

• н

• и

• т

• ь

•

• у

• с

• т

• о

• й

• ч

• и

• в

• о

• с

• т

• ь

•

• и

• х

•

• т

• е

• х

• н

• и

• ч

• е

• с

• к

• о

• г

• о

•

• п

• р

• е

• и

• м

• у

• щ

• е

• с

• т

• в

• а

• .

• "

• ]

BUILDER

⚡ Уверенность: 🟢 высокая Ландшафт LLM-инференса быстро развивается, предлагая как высокопроизводительные, OpenAI-совместимые серверные решения (vLLM), так и высокоэффективные по памяти, производительные клиентские оптимизации (TurboQuant на MLX), что значительно расширяет возможности развертывания и снижает эксплуатационные расходы для разработчиков. vLLM предоставляет замену OpenAI API для самостоятельного хостинга, достигая в 2-24 раза большей пропускной способности, чем HuggingFace Transformers, благодаря PagedAttention и непрерывной батчингу, что делает его идеальным для масштабируемых сервисов инференса. Параллельно, TurboQuant на MLX демонстрирует 4.6-кратное сжатие KV-кэша с почти FP16 скоростью на Apple Silicon с использованием кастомных Metal-ядер, позволяя использовать более крупные модели или более длинные контексты (например, Qwen 32B с контекстом 16K, использующий всего 897MB кэша) для локальных или периферийных развертываний. Эти достижения в совокупности позволяют разработчикам создавать более экономичные, производительные и универсальные приложения на базе LLM в различных аппаратных средах.

Риски:

• {'risk': 'Операционная сложность при миграции на self-hosted vLLM', 'explanation': 'Несмотря на совместимость с OpenAI API, переход от управляемого сервиса OpenAI к самостоятельному хостингу vLLM влечет за собой значительные операционные издержки, связанные с управлением GPU-инфраструктурой, масштабированием, мониторингом и обеспечением отказоустойчивости. Это может привести к недооценке TCO и увеличению нагрузки на DevOps-команды.'}

• {'risk': 'Аппаратная зависимость оптимизаций TurboQuant', 'explanation': "Преимущества TurboQuant в настоящее время тесно связаны с фреймворком MLX и Metal-архитектурой Apple Silicon. Это ограничивает немедленную применимость для разработчиков, ориентированных на другие аппаратные платформы (например, NVIDIA GPU, облачные TPU) или фреймворки, потенциально фрагментируя усилия по оптимизации и создавая 'зоопарк' решений."}

• {'risk': 'Бремя поддержки для self-hosted решений', 'explanation': 'Внедрение vLLM означает принятие на себя полной ответственности за обновления моделей, патчи безопасности, оптимизацию производительности и устранение неполадок. Это может стать значительным бременем по сравнению с использованием управляемого API, где эти аспекты обрабатываются поставщиком.'}

Возможности:

• [

• {

• "

• o

• p

• o

• r

• t

• u

• n

• i

• t

• y

• "

• :

•

• "

• С

• о

• з

• д

• а

• н

• и

• е

•

• э

• к

• о

• н

• о

• м

• и

• ч

• е

• с

• к

• и

•

• э

• ф

• е

• к

• т

• и

• в

• н

• ы

• х

•

• L

• M

• -

• с

• е

• р

• в

• и

• с

• о

• в

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

• "

• ,

•

• "

• a

• c

• t

• i

• o

• n

• "

• :

•

• "

• И

• с

• п

• о

• л

• ь

• з

• о

• в

• а

• т

• ь

•

• O

• p

• e

• n

• A

• I

• -

• с

• о

• в

• м

• е

• с

• т

• и

• м

• ы

• й

•

• A

• P

• I

•

• v

• L

• M

•

• д

• л

• я

•

• м

• и

• г

• р

• а

• ц

• и

•

• в

• ы

• с

• о

• к

• о

• б

• ъ

• е

• м

• н

• ы

• х

•

• р

• а

• б

• о

• ч

• и

• х

•

• н

• а

• г

• р

• у

• з

• о

• к

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• с

•

• д

• о

• р

• о

• г

• и

• х

•

• с

• т

• о

• р

• о

• н

• и

• х

•

• A

• P

• I

•

• н

• а

•

• с

• о

• б

• с

• т

• в

• е

• н

• ы

• е

•

• G

• P

• U

• -

• к

• л

• а

• с

• т

• е

• р

• ы

• .

•

• Э

• т

• о

•

• п

• о

• з

• в

• о

• л

• и

• т

•

• з

• н

• а

• ч

• и

• т

• е

• л

• ь

• н

• о

•

• с

• о

• к

• р

• а

• т

• и

• т

• ь

•

• з

• а

• т

• р

• а

• т

• ы

•

• н

• а

•

• и

• н

• ф

• е

• р

• е

• н

• с

•

• и

•

• р

• а

• з

• в

• е

• р

• н

• у

• т

• ь

•

• к

• а

• с

• т

• о

• м

• н

• ы

• е

•

• L

• M

• -

• э

• н

• д

• п

• о

• и

• н

• т

• ы

• ,

•

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• `

• /

• v

• 2

• /

• c

• u

• s

• t

• o

• m

• _

• m

• o

• d

• e

• l

• /

• c

• o

• m

• p

• l

• e

• t

• i

• o

• n

• s

• `

• ,

•

• с

•

• т

• о

• н

• к

• о

•

• н

• а

• с

• т

• р

• о

• е

• н

• ы

• м

• и

•

• м

• о

• д

• е

• л

• я

• м

• и

• ,

•

• о

• б

• е

• с

• п

• е

• ч

• и

• в

• а

• я

•

• п

• о

• л

• н

• ы

• й

•

• к

• о

• н

• т

• р

• о

• л

• ь

•

• н

• а

• д

•

• д

• а

• н

• ы

• м

• и

•

• и

•

• п

• р

• о

• и

• з

• в

• о

• д

• и

• т

• е

• л

• ь

• н

• о

• с

• т

• ь

• ю

• .

• "

• }

• ,

•

• {

• "

• o

• p

• o

• r

• t

• u

• n

• i

• t

• y

• "

• :

•

• "

• Р

• а

• с

• ш

• и

• р

• е

• н

• и

• е

•

• в

• о

• з

• м

• о

• ж

• н

• о

• с

• т

• е

• й

•

• И

•

• н

• а

•

• у

• с

• т

• р

• о

• й

• с

• т

• в

• а

• х

•

• A

• p

• l

• e

• "

• ,

•

• "

• a

• c

• t

• i

• o

• n

• "

• :

•

• "

• И

• н

• т

• е

• г

• р

• и

• р

• о

• в

• а

• т

• ь

•

• M

• L

• X

•

• с

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

•

• (

• п

• о

• с

• л

• е

•

• с

• л

• и

• я

• н

• и

• я

•

• P

• R

• )

•

• в

•

• п

• р

• и

• л

• о

• ж

• е

• н

• и

• я

•

• д

• л

• я

•

• m

• a

• c

• O

• S

• /

• i

• O

• S

• ,

•

• ч

• т

• о

• б

• ы

•

• о

• б

• е

• с

• п

• е

• ч

• и

• т

• ь

•

• з

• а

• п

• у

• с

• к

•

• б

• о

• л

• е

•

• к

• р

• у

• п

• н

• ы

• х

•

• и

•

• м

• о

• щ

• н

• ы

• х

•

• L

• M

•

• н

• е

• п

• о

• с

• р

• е

• д

• с

• т

• в

• е

• н

• о

•

• н

• а

•

• у

• с

• т

• р

• о

• й

• с

• т

• в

• а

• х

•

• п

• о

• л

• ь

• з

• о

• в

• а

• т

• е

• л

• е

• й

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• M

• 4

•

• P

• r

• o

•

• 4

• 8

• G

• B

• ,

•

• з

• а

• п

• у

• с

• к

• а

• ю

• щ

• и

• й

•

• Q

• w

• e

• n

•

• 3

• 2

• B

•

• с

•

• к

• о

• н

• т

• е

• к

• с

• т

• о

• м

•

• 1

• 6

• K

• )

• .

•

• Э

• т

• о

•

• о

• т

• к

• р

• о

• е

• т

•

• в

• о

• з

• м

• о

• ж

• н

• о

• с

• т

• и

•

• д

• л

• я

•

• с

• о

• з

• д

• а

• н

• и

• я

•

• к

• о

• н

• ф

• и

• д

• е

• н

• ц

• и

• а

• л

• ь

• н

• ы

• х

•

• и

•

• о

• ф

• л

• а

• й

• н

• -

• ф

• у

• н

• к

• ц

• и

• й

•

• И

• ,

•

• с

• н

• и

• ж

• а

• я

•

• з

• а

• в

• и

• с

• и

• м

• о

• с

• т

• ь

•

• о

• т

•

• о

• б

• л

• а

• ч

• н

• ы

• х

•

• с

• е

• р

• в

• и

• с

• о

• в

•

• и

•

• у

• л

• у

• ч

• ш

• а

• я

•

• п

• о

• л

• ь

• з

• о

• в

• а

• т

• е

• л

• ь

• с

• к

• и

• й

•

• о

• п

• ы

• т

• .

• "

• }

• ,

•

• {

• "

• o

• p

• o

• r

• t

• u

• n

• i

• t

• y

• "

• :

•

• "

• Р

• а

• з

• р

• а

• б

• о

• т

• к

• а

•

• с

• п

• е

• ц

• и

• а

• л

• и

• з

• и

• р

• о

• в

• а

• н

• ы

• х

•

• и

• н

• с

• т

• р

• у

• м

• е

• н

• т

• о

• в

•

• и

•

• S

• D

• K

•

• д

• л

• я

•

• L

• M

• "

• ,

•

• "

• a

• c

• t

• i

• o

• n

• "

• :

•

• "

• С

• о

• з

• д

• а

• т

• ь

•

• S

• D

• K

•

• и

• л

• и

•

• C

• L

• I

• -

• и

• н

• с

• т

• р

• у

• м

• е

• н

• т

• ы

• ,

•

• к

• о

• т

• о

• р

• ы

• е

•

• а

• б

• с

• т

• р

• а

• г

• и

• р

• у

• ю

• т

•

• с

• л

• о

• ж

• н

• о

• с

• т

• и

•

• р

• а

• з

• в

• е

• р

• т

• ы

• в

• а

• н

• и

• я

•

• v

• L

• M

• ,

•

• п

• о

• з

• в

• о

• л

• я

•

• р

• а

• з

• р

• а

• б

• о

• т

• ч

• и

• к

• а

• м

•

• л

• е

• г

• к

• о

•

• з

• а

• п

• у

• с

• к

• а

• т

• ь

•

• и

•

• у

• п

• р

• а

• в

• л

• я

• т

• ь

•

• к

• а

• с

• т

• о

• м

• н

• ы

• м

• и

•

• L

• M

• -

• э

• н

• д

• п

• о

• и

• н

• т

• а

• м

• и

• .

•

• А

• н

• а

• л

• о

• г

• и

• ч

• н

• о

• ,

•

• р

• а

• з

• р

• а

• б

• о

• т

• а

• т

• ь

•

• б

• и

• б

• л

• и

• о

• т

• е

• к

• и

•

• н

• а

•

• б

• а

• з

• е

•

• M

• L

• X

• ,

•

• у

• п

• р

• о

• щ

• а

• ю

• щ

• и

• е

•

• и

• н

• т

• е

• г

• р

• а

• ц

• и

• ю

•

• о

• п

• т

• и

• м

• и

• з

• и

• р

• о

• в

• а

• н

• ы

• х

•

• п

• о

•

• п

• а

• м

• я

• т

• и

•

• L

• M

•

• в

•

• п

• р

• и

• л

• о

• ж

• е

• н

• и

• я

•

• э

• к

• о

• с

• и

• с

• т

• е

• м

• ы

•

• A

• p

• l

• e

• ,

•

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• д

• л

• я

•

• с

• о

• з

• д

• а

• н

• и

• я

•

• л

• о

• к

• а

• л

• ь

• н

• ы

• х

•

• а

• г

• е

• н

• т

• о

• в

•

• и

• л

• и

•

• а

• с

• и

• с

• т

• е

• н

• т

• о

• в

• .

• "

• }

• ]

•

• 🔭

•

• О

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

• :

•

• [

• {

• "

• i

• n

• d

• i

• c

• a

• t

• o

• r

• "

• :

•

• "

• Р

• а

• с

• п

• р

• о

• с

• т

• р

• а

• н

• е

• н

• и

• е

•

• P

• a

• g

• e

• d

• A

• t

• e

• n

• t

• i

• o

• n

•

• и

•

• н

• е

• п

• р

• е

• р

• ы

• в

• н

• о

• г

• о

•

• б

• а

• т

• ч

• и

• н

• г

• а

• "

• ,

•

• "

• e

• x

• p

• l

• a

• n

• a

• t

• i

• o

• n

• "

• :

•

• "

• О

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

• ,

•

• н

• а

• с

• к

• о

• л

• ь

• к

• о

•

• ш

• и

• р

• о

• к

• о

•

• д

• р

• у

• г

• и

• е

•

• д

• в

• и

• ж

• к

• и

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• с

•

• о

• т

• к

• р

• ы

• т

• ы

• м

•

• и

• с

• х

• о

• д

• н

• ы

• м

•

• к

• о

• д

• о

• м

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• T

• G

• I

• ,

•

• T

• e

• n

• s

• o

• r

• R

• T

• -

• L

• M

• )

•

• и

• л

• и

•

• к

• о

• м

• е

• р

• ч

• е

• с

• к

• и

• е

•

• п

• р

• е

• д

• л

• о

• ж

• е

• н

• и

• я

•

• б

• у

• д

• у

• т

•

• в

• н

• е

• д

• р

• я

• т

• ь

•

• P

• a

• g

• e

• d

• A

• t

• e

• n

• t

• i

• o

• n

•

• и

•

• м

• е

• т

• о

• д

• ы

•

• н

• е

• п

• р

• е

• р

• ы

• в

• н

• о

• г

• о

•

• б

• а

• т

• ч

• и

• н

• г

• а

• .

•

• Э

• т

• о

•

• б

• у

• д

• е

• т

•

• и

• н

• д

• и

• к

• а

• т

• о

• р

• о

• м

•

• с

• т

• а

• н

• д

• а

• р

• т

• и

• з

• а

• ц

• и

•

• в

• ы

• с

• о

• к

• о

• п

• р

• о

• и

• з

• в

• о

• д

• и

• т

• е

• л

• ь

• н

• о

• г

• о

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• и

•

• п

• о

• т

• е

• н

• ц

• и

• а

• л

• ь

• н

• о

• г

• о

•

• п

• о

• я

• в

• л

• е

• н

• и

• я

•

• н

• о

• в

• ы

• х

•

• к

• о

• н

• к

• у

• р

• е

• н

• т

• о

• в

•

• v

• L

• M

• .

• "

• }

• ,

•

• {

• "

• i

• n

• d

• i

• c

• a

• t

• o

• r

• "

• :

•

• "

• И

• н

• т

• е

• г

• р

• а

• ц

• и

• я

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

•

• и

•

• к

• р

• о

• с

• п

• л

• а

• т

• ф

• о

• р

• м

• е

• н

• о

• е

•

• п

• о

• р

• т

• и

• р

• о

• в

• а

• н

• и

• е

• "

• ,

•

• "

• e

• x

• p

• l

• a

• n

• a

• t

• i

• o

• n

• "

• :

•

• "

• С

• л

• е

• д

• и

• т

• ь

•

• з

• а

•

• с

• т

• а

• т

• у

• с

• о

• м

•

• с

• л

• и

• я

• н

• и

• я

•

• P

• R

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

•

• в

•

• `

• m

• l

• x

• -

• l

• m

• `

•

• и

•

• н

• а

• б

• л

• ю

• д

• а

• т

• ь

• ,

•

• б

• у

• д

• у

• т

•

• л

• и

•

• а

• н

• а

• л

• о

• г

• и

• ч

• н

• ы

• е

•

• м

• е

• т

• о

• д

• ы

•

• с

• ж

• а

• т

• и

• я

•

• K

• V

• -

• к

• э

• ш

• а

•

• п

• о

• р

• т

• и

• р

• о

• в

• а

• н

• ы

•

• н

• а

•

• д

• р

• у

• г

• и

• е

•

• ф

• р

• е

• й

• м

• в

• о

• р

• к

• и

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• P

• y

• T

• o

• r

• c

• h

• ,

•

• O

• N

• X

•

• R

• u

• n

• t

• i

• m

• e

• )

•

• и

• л

• и

•

• а

• п

• а

• р

• а

• т

• н

• ы

• е

•

• п

• л

• а

• т

• ф

• о

• р

• м

• ы

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• N

• V

• I

• D

• I

• A

•

• G

• P

• U

•

• ч

• е

• р

• е

• з

•

• C

• U

• D

• A

• -

• я

• д

• р

• а

• )

• .

•

• Э

• т

• о

•

• у

• к

• а

• ж

• е

• т

•

• н

• а

•

• б

• о

• л

• е

•

• ш

• и

• р

• о

• к

• о

• е

•

• в

• л

• и

• я

• н

• и

• е

•

• т

• е

• х

• н

• о

• л

• о

• г

• и

•

• з

• а

•

• п

• р

• е

• д

• е

• л

• а

• м

• и

•

• A

• p

• l

• e

•

• S

• i

• l

• i

• c

• o

• n

•

• и

•

• п

• о

• т

• е

• н

• ц

• и

• а

• л

•

• д

• л

• я

•

• у

• н

• и

• в

• е

• р

• с

• а

• л

• ь

• н

• ы

• х

•

• о

• п

• т

• и

• м

• и

• з

• а

• ц

• и

• й

• .

• "

• }

• ]

OPERATOR

⚡ Уверенность: 🟢 высокая Эти технологические прорывы в движках для инференса LLM и оптимизации памяти предоставляют немедленные и ощутимые возможности для значительного сокращения операционных затрат и повышения производительности AI-продуктов, особенно для компаний, использующих открытые модели или аппаратное обеспечение Apple. Внедрение vLLM может сократить затраты на GPU-инфраструктуру на 20-50% за счет увеличения пропускной способности в 2-24 раза, а TurboQuant на MLX позволяет запускать более крупные модели на существующем оборудовании Apple, экономя до 4.6x памяти KV-кэша при сохранении 98% скорости FP16.

Риски:

• {'risk': 'Сложность миграции и тестирования', 'explanation': "Несмотря на OpenAI-совместимость vLLM, переход с других движков инференса (например, HuggingFace Transformers) потребует тщательного тестирования и валидации для обеспечения стабильности и производительности во всех сценариях использования. Для TurboQuant на MLX, хотя заявлено 'идентичное качество', необходимо провести собственное тестирование на специфических наборах данных, чтобы исключить регрессии."}

• {'risk': 'Зависимость от экосистемы и специфичность платформы', 'explanation': 'vLLM, будучи открытым исходным кодом, требует управления зависимостью от сообщества и потенциально быстрых изменений. TurboQuant на MLX строго привязан к аппаратной платформе Apple и фреймворку MLX, что ограничивает его универсальное применение и требует наличия соответствующей экспертизы в команде.'}

Возможности:

• [

• {

• "

• o

• p

• o

• r

• t

• u

• n

• i

• t

• y

• "

• :

•

• "

• Н

• е

• м

• е

• д

• л

• е

• н

• о

• е

•

• с

• о

• к

• р

• а

• щ

• е

• н

• и

• е

•

• з

• а

• т

• р

• а

• т

•

• н

• а

•

• G

• P

• U

•

• и

•

• м

• а

• с

• ш

• т

• а

• б

• и

• р

• о

• в

• а

• н

• и

• е

• "

• ,

•

• "

• a

• c

• t

• i

• o

• n

• "

• :

•

• "

• О

• т

• д

• е

• л

• а

• м

•

• р

• а

• з

• р

• а

• б

• о

• т

• к

• и

•

• и

•

• и

• н

• ф

• р

• а

• с

• т

• р

• у

• к

• т

• у

• р

• ы

•

• с

• л

• е

• д

• у

• е

• т

•

• н

• е

• м

• е

• д

• л

• е

• н

• о

•

• п

• р

• о

• в

• е

• с

• т

• и

•

• п

• и

• л

• о

• т

• н

• о

• е

•

• в

• н

• е

• д

• р

• е

• н

• и

• е

•

• v

• L

• M

•

• д

• л

• я

•

• с

• у

• щ

• е

• с

• т

• в

• у

• ю

• щ

• и

• х

•

• и

•

• п

• л

• а

• н

• и

• р

• у

• е

• м

• ы

• х

•

• р

• а

• б

• о

• ч

• и

• х

•

• н

• а

• г

• р

• у

• з

• о

• к

•

• L

• M

• -

• и

• н

• ф

• е

• р

• е

• н

• с

• а

• .

•

• Ц

• е

• л

• ь

•

• —

•

• с

• о

• к

• р

• а

• т

• и

• т

• ь

•

• р

• а

• с

• х

• о

• д

• ы

•

• н

• а

•

• G

• P

• U

• -

• в

• ы

• ч

• и

• с

• л

• е

• н

• и

• я

•

• н

• а

•

• 2

• 0

• -

• 5

• 0

• %

•

• в

•

• т

• е

• ч

• е

• н

• и

• е

•

• с

• л

• е

• д

• у

• ю

• щ

• и

• х

•

• 6

• -

• 1

• 2

•

• м

• е

• с

• я

• ц

• е

• в

•

• з

• а

•

• с

• ч

• е

• т

•

• м

• и

• г

• р

• а

• ц

• и

•

• в

• ы

• с

• о

• к

• о

• н

• а

• г

• р

• у

• ж

• е

• н

• ы

• х

•

• A

• P

• I

•

• н

• а

•

• v

• L

• M

• ,

•

• и

• с

• п

• о

• л

• ь

• з

• у

• я

•

• е

• г

• о

•

• 2

• -

• 2

• 4

• -

• к

• р

• а

• т

• н

• о

• е

•

• у

• в

• е

• л

• и

• ч

• е

• н

• и

• е

•

• п

• р

• о

• п

• у

• с

• к

• н

• о

• й

•

• с

• п

• о

• с

• о

• б

• н

• о

• с

• т

• и

• .

• "

• }

• ,

•

• {

• "

• o

• p

• o

• r

• t

• u

• n

• i

• t

• y

• "

• :

•

• "

• Р

• а

• с

• ш

• и

• р

• е

• н

• и

• е

•

• в

• о

• з

• м

• о

• ж

• н

• о

• с

• т

• е

• й

•

• л

• о

• к

• а

• л

• ь

• н

• о

• г

• о

• /

• г

• р

• а

• н

• и

• ч

• н

• о

• г

• о

•

• A

• I

•

• н

• а

•

• A

• p

• l

• e

• -

• у

• с

• т

• р

• о

• й

• с

• т

• в

• а

• х

• "

• ,

•

• "

• a

• c

• t

• i

• o

• n

• "

• :

•

• "

• Д

• л

• я

•

• к

• о

• м

• а

• н

• д

• ,

•

• р

• а

• з

• р

• а

• б

• а

• т

• ы

• в

• а

• ю

• щ

• и

• х

•

• н

• а

•

• а

• п

• а

• р

• а

• т

• н

• о

• м

•

• о

• б

• е

• с

• п

• е

• ч

• е

• н

• и

•

• A

• p

• l

• e

•

• и

• л

• и

•

• о

• р

• и

• е

• н

• т

• и

• р

• о

• в

• а

• н

• ы

• х

•

• н

• а

•

• л

• о

• к

• а

• л

• ь

• н

• ы

• й

•

• и

• н

• ф

• е

• р

• е

• н

• с

• ,

•

• н

• е

• о

• б

• х

• о

• д

• и

• м

• о

•

• и

• н

• т

• е

• г

• р

• и

• р

• о

• в

• а

• т

• ь

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

•

• н

• а

•

• M

• L

• X

• .

•

• Э

• т

• о

•

• п

• о

• з

• в

• о

• л

• и

• т

•

• з

• а

• п

• у

• с

• к

• а

• т

• ь

•

• б

• о

• л

• е

•

• к

• р

• у

• п

• н

• ы

• е

•

• м

• о

• д

• е

• л

• и

•

• и

• л

• и

•

• и

• с

• п

• о

• л

• ь

• з

• о

• в

• а

• т

• ь

•

• б

• о

• л

• е

•

• д

• л

• и

• н

• ы

• е

•

• к

• о

• н

• т

• е

• к

• с

• т

• ы

•

• н

• а

•

• т

• е

• к

• у

• щ

• е

• м

•

• о

• б

• о

• р

• у

• д

• о

• в

• а

• н

• и

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• Q

• w

• e

• n

•

• 3

• 2

• B

•

• с

•

• 1

• 6

• K

•

• к

• о

• н

• т

• е

• к

• с

• т

• о

• м

•

• н

• а

•

• 8

• 9

• 7

• M

• B

•

• V

• R

• A

• M

•

• в

• м

• е

• с

• т

• о

•

• 4

• .

• 2

• G

• B

• )

• ,

•

• о

• т

• к

• р

• ы

• в

• а

• я

•

• н

• о

• в

• ы

• е

•

• п

• р

• о

• д

• у

• к

• т

• о

• в

• ы

• е

•

• в

• о

• з

• м

• о

• ж

• н

• о

• с

• т

• и

•

• б

• е

• з

•

• д

• о

• п

• о

• л

• н

• и

• т

• е

• л

• ь

• н

• ы

• х

•

• и

• н

• в

• е

• с

• т

• и

• ц

• и

• й

•

• в

•

• '

• ж

• е

• л

• е

• з

• о

• '

• .

• "

• }

• ,

•

• {

• "

• o

• p

• o

• r

• t

• u

• n

• i

• t

• y

• "

• :

•

• "

• С

• т

• а

• н

• д

• а

• р

• т

• и

• з

• а

• ц

• и

• я

•

• и

•

• у

• п

• р

• о

• щ

• е

• н

• и

• е

•

• A

• P

• I

•

• д

• л

• я

•

• L

• M

• "

• ,

•

• "

• a

• c

• t

• i

• o

• n

• "

• :

•

• "

• И

• с

• п

• о

• л

• ь

• з

• о

• в

• а

• т

• ь

•

• O

• p

• e

• n

• A

• I

• -

• с

• о

• в

• м

• е

• с

• т

• и

• м

• о

• с

• т

• ь

•

• v

• L

• M

•

• д

• л

• я

•

• с

• т

• а

• н

• д

• а

• р

• т

• и

• з

• а

• ц

• и

•

• A

• P

• I

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• L

• M

•

• п

• о

•

• в

• с

• е

• й

•

• о

• р

• г

• а

• н

• и

• з

• а

• ц

• и

• .

•

• Э

• т

• о

•

• у

• п

• р

• о

• с

• т

• и

• т

•

• р

• а

• з

• р

• а

• б

• о

• т

• к

• у

• ,

•

• с

• н

• и

• з

• и

• т

•

• р

• и

• с

• к

• и

•

• п

• р

• и

• в

• я

• з

• к

• и

•

• к

•

• к

• о

• н

• к

• р

• е

• т

• н

• о

• м

• у

•

• п

• о

• с

• т

• а

• в

• щ

• и

• к

• у

•

• и

•

• у

• с

• к

• о

• р

• и

• т

•

• в

• н

• е

• д

• р

• е

• н

• и

• е

•

• н

• о

• в

• ы

• х

•

• м

• о

• д

• е

• л

• е

• й

• .

• "

• }

• ]

•

• 🔭

•

• О

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

• :

•

• [

• {

• "

• i

• n

• d

• i

• c

• a

• t

• o

• r

• "

• :

•

• "

• З

• р

• е

• л

• о

• с

• т

• ь

•

• э

• к

• о

• с

• и

• с

• т

• е

• м

• ы

•

• v

• L

• M

• "

• ,

•

• "

• d

• e

• s

• c

• r

• i

• p

• t

• i

• o

• n

• "

• :

•

• "

• О

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

•

• с

• т

• а

• б

• и

• л

• ь

• н

• о

• с

• т

• ь

• ,

•

• п

• о

• д

• е

• р

• ж

• к

• у

•

• с

• о

• б

• щ

• е

• с

• т

• в

• а

•

• и

•

• д

• о

• р

• о

• ж

• н

• у

• ю

•

• к

• а

• р

• т

• у

•

• р

• а

• з

• в

• и

• т

• и

• я

•

• v

• L

• M

• ,

•

• о

• с

• о

• б

• е

• н

• о

•

• в

•

• ч

• а

• с

• т

• и

•

• к

• о

• р

• п

• о

• р

• а

• т

• и

• в

• н

• ы

• х

•

• ф

• у

• н

• к

• ц

• и

• й

• ,

•

• б

• е

• з

• о

• п

• а

• с

• н

• о

• с

• т

• и

•

• и

•

• п

• о

• д

• е

• р

• ж

• к

• и

•

• н

• о

• в

• ы

• х

•

• м

• о

• д

• е

• л

• е

• й

• ,

•

• ч

• т

• о

• б

• ы

•

• о

• ц

• е

• н

• и

• т

• ь

•

• д

• о

• л

• г

• о

• с

• р

• о

• ч

• н

• у

• ю

•

• ж

• и

• з

• н

• е

• с

• п

• о

• с

• о

• б

• н

• о

• с

• т

• ь

•

• и

•

• р

• и

• с

• к

• и

• .

• "

• }

• ,

•

• {

• "

• i

• n

• d

• i

• c

• a

• t

• o

• r

• "

• :

•

• "

• Р

• а

• с

• ш

• и

• р

• е

• н

• и

• е

•

• п

• р

• и

• м

• е

• н

• е

• н

• и

• я

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

• /

• M

• L

• X

• "

• ,

•

• "

• d

• e

• s

• c

• r

• i

• p

• t

• i

• o

• n

• "

• :

•

• "

• С

• л

• е

• д

• и

• т

• ь

•

• з

• а

•

• п

• о

• я

• в

• л

• е

• н

• и

• е

• м

•

• а

• н

• а

• л

• о

• г

• и

• ч

• н

• ы

• х

•

• т

• е

• х

• н

• о

• л

• о

• г

• и

• й

•

• к

• о

• м

• п

• р

• е

• с

• и

•

• K

• V

• -

• к

• э

• ш

• а

•

• д

• л

• я

•

• д

• р

• у

• г

• и

• х

•

• а

• п

• а

• р

• а

• т

• н

• ы

• х

•

• п

• л

• а

• т

• ф

• о

• р

• м

•

• (

• н

• е

•

• A

• p

• l

• e

• )

•

• и

•

• ф

• р

• е

• й

• м

• в

• о

• р

• к

• о

• в

• ,

•

• ч

• т

• о

• б

• ы

•

• о

• ц

• е

• н

• и

• т

• ь

•

• п

• о

• т

• е

• н

• ц

• и

• а

• л

•

• д

• л

• я

•

• б

• о

• л

• е

•

• ш

• и

• р

• о

• к

• о

• г

• о

•

• п

• р

• и

• м

• е

• н

• е

• н

• и

• я

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

•

• и

• л

• и

•

• е

• г

• о

•

• к

• о

• н

• ц

• е

• п

• ц

• и

• й

•

• з

• а

•

• п

• р

• е

• д

• е

• л

• а

• м

• и

•

• т

• е

• к

• у

• щ

• и

• х

•

• с

• п

• е

• ц

• и

• ф

• и

• ч

• е

• с

• к

• и

• х

•

• д

• л

• я

•

• A

• p

• l

• e

•

• с

• ц

• е

• н

• а

• р

• и

• е

• в

• .

• "

• }

• ]

SKEPTIC

⚡ Уверенность: 🟡 средняя Хотя обе новости демонстрируют впечатляющие достижения в оптимизации инференса больших языковых моделей (LLM), их заявления требуют критического анализа в отношении универсальности, скрытых интересов и потенциальных рисков, указывая на то, что представленные «прорывы» являются скорее контекстно-зависимыми, чем универсальными решениями. Заявление vLLM о «самом быстром» движке с приростом пропускной способности в 2-24 раза вероятно, сравнивается с неоптимизированными базовыми показателями HuggingFace Transformers, а не с другими специализированными движками, и его продвижение тесно связано с интересами Anyscale. В то же время, впечатляющие результаты TurboQuant на MLX с 4.6-кратным сжатием кэша KV строго привязаны к аппаратной платформе Apple Silicon (M4 Pro) и конкретной модели (Qwen2.5-32B), что делает их неприменимыми для большинства пользователей и платформ.

Риски:

• {'risk': 'Риск фрагментации и привязки к платформе', 'explanation': 'Оптимизация TurboQuant на MLX полностью зависит от аппаратного обеспечения Apple Silicon и кастомных Metal-ядер. Это создает значительный риск фрагментации экосистемы LLM-инференса, где высокоэффективные решения становятся недоступными для пользователей других платформ (NVIDIA, AMD), ограничивая их выбор и потенциально замедляя общий прогресс в отрасли.'}

• {'risk': 'Скрытые операционные издержки и мягкая привязка к поставщику', 'explanation': 'Хотя vLLM позиционируется как «бесплатный» и «open source» , развертывание и поддержание высокопроизводительного инференс-сервера, даже с готовым API, требует значительных операционных затрат, инфраструктуры и квалифицированного персонала. Учитывая, что Anyscale, крупный игрок, использует и, вероятно, активно развивает vLLM, существует риск мягкой привязки к поставщику, где будущие ключевые функции или оптимизации могут быть направлены на поддержку коммерческих предложений Anyscale, а не на универсальные потребности сообщества.'}

• {'risk': 'Недостаточная валидация качества при квантизации', 'explanation': 'Заявление TurboQuant об «идентичном качестве» при 4.6-кратном сжатии является сильным, но не подкреплено детальной методологией оценки. Квантизация, даже самая продвинутая, часто приводит к тонким деградациям качества, которые могут проявляться в специфических сценариях или на сложных запросах. Отсутствие подробных бенчмарков или человеческой оценки для подтверждения «идентичности» качества оставляет этот риск недооцененным.'}

Возможности:

• [

• {

• "

• o

• p

• o

• r

• t

• u

• n

• i

• t

• y

• "

• :

•

• "

• Р

• а

• з

• в

• и

• т

• и

• е

•

• к

• р

• о

• с

• -

• п

• л

• а

• т

• ф

• о

• р

• м

• е

• н

• ы

• х

•

• о

• п

• т

• и

• м

• и

• з

• а

• ц

• и

• й

• "

• ,

•

• "

• e

• x

• p

• l

• a

• n

• a

• t

• i

• o

• n

• "

• :

•

• "

• У

• с

• п

• е

• х

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

•

• н

• а

•

• M

• L

• X

•

• д

• е

• м

• о

• н

• с

• т

• р

• и

• р

• у

• е

• т

•

• п

• о

• т

• е

• н

• ц

• и

• а

• л

•

• г

• л

• у

• б

• о

• к

• о

• й

•

• о

• п

• т

• и

• м

• и

• з

• а

• ц

• и

•

• к

• э

• ш

• а

•

• K

• V

• .

•

• Э

• т

• о

•

• с

• о

• з

• д

• а

• е

• т

•

• в

• о

• з

• м

• о

• ж

• н

• о

• с

• т

• ь

•

• д

• л

• я

•

• д

• р

• у

• г

• и

• х

•

• к

• о

• м

• а

• н

• д

•

• и

•

• ф

• р

• е

• й

• м

• в

• о

• р

• к

• о

• в

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• v

• L

• M

• ,

•

• H

• u

• g

• i

• n

• g

• F

• a

• c

• e

• )

•

• и

• с

• л

• е

• д

• о

• в

• а

• т

• ь

•

• и

•

• а

• д

• а

• п

• т

• и

• р

• о

• в

• а

• т

• ь

•

• а

• н

• а

• л

• о

• г

• и

• ч

• н

• ы

• е

•

• м

• е

• т

• о

• д

• ы

•

• с

• ж

• а

• т

• и

• я

•

• и

•

• к

• а

• с

• т

• о

• м

• н

• ы

• е

•

• я

• д

• р

• а

•

• д

• л

• я

•

• д

• р

• у

• г

• и

• х

•

• а

• п

• а

• р

• а

• т

• н

• ы

• х

•

• п

• л

• а

• т

• ф

• о

• р

• м

•

• (

• N

• V

• I

• D

• I

• A

•

• C

• U

• D

• A

• ,

•

• A

• M

• D

•

• R

• O

• C

• m

• )

• ,

•

• ч

• т

• о

• б

• ы

•

• о

• б

• е

• с

• п

• е

• ч

• и

• т

• ь

•

• б

• о

• л

• е

•

• ш

• и

• р

• о

• к

• у

• ю

•

• д

• о

• с

• т

• у

• п

• н

• о

• с

• т

• ь

•

• э

• т

• и

• х

•

• п

• р

• е

• и

• м

• у

• щ

• е

• с

• т

• в

• .

• "

• }

• ,

•

• {

• "

• o

• p

• o

• r

• t

• u

• n

• i

• t

• y

• "

• :

•

• "

• С

• т

• а

• н

• д

• а

• р

• т

• и

• з

• а

• ц

• и

• я

•

• б

• е

• н

• ч

• м

• а

• р

• к

• о

• в

•

• д

• л

• я

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• L

• M

• "

• ,

•

• "

• e

• x

• p

• l

• a

• n

• a

• t

• i

• o

• n

• "

• :

•

• "

• Ш

• и

• р

• о

• к

• и

• й

•

• д

• и

• а

• п

• а

• з

• о

• н

•

• п

• р

• о

• и

• з

• в

• о

• д

• и

• т

• е

• л

• ь

• н

• о

• с

• т

• и

•

• v

• L

• M

•

• (

• 2

• -

• 2

• 4

• x

• )

•

• и

•

• с

• п

• е

• ц

• и

• ф

• и

• ч

• н

• о

• с

• т

• ь

•

• б

• е

• н

• ч

• м

• а

• р

• к

• о

• в

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

•

• п

• о

• д

• ч

• е

• р

• к

• и

• в

• а

• ю

• т

•

• н

• е

• о

• б

• х

• о

• д

• и

• м

• о

• с

• т

• ь

•

• в

•

• с

• о

• з

• д

• а

• н

• и

•

• н

• е

• з

• а

• в

• и

• с

• и

• м

• ы

• х

• ,

•

• с

• т

• а

• н

• д

• а

• р

• т

• и

• з

• и

• р

• о

• в

• а

• н

• ы

• х

•

• и

•

• п

• р

• о

• з

• р

• а

• ч

• н

• ы

• х

•

• б

• е

• н

• ч

• м

• а

• р

• к

• о

• в

•

• д

• л

• я

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• L

• M

• .

•

• Э

• т

• о

•

• п

• о

• з

• в

• о

• л

• и

• т

•

• о

• б

• ъ

• е

• к

• т

• и

• в

• н

• о

•

• с

• р

• а

• в

• н

• и

• в

• а

• т

• ь

•

• р

• а

• з

• л

• и

• ч

• н

• ы

• е

•

• д

• в

• и

• ж

• к

• и

•

• и

•

• м

• е

• т

• о

• д

• ы

•

• о

• п

• т

• и

• м

• и

• з

• а

• ц

• и

•

• н

• а

•

• р

• а

• з

• н

• ы

• х

•

• м

• о

• д

• е

• л

• я

• х

•

• и

•

• а

• п

• а

• р

• а

• т

• н

• ы

• х

•

• п

• л

• а

• т

• ф

• о

• р

• м

• а

• х

• ,

•

• с

• н

• и

• ж

• а

• я

•

• в

• л

• и

• я

• н

• и

• е

•

• м

• а

• р

• к

• е

• т

• и

• н

• г

• о

• в

• ы

• х

•

• з

• а

• я

• в

• л

• е

• н

• и

• й

• .

• "

• }

• ]

•

• 🔭

•

• О

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

• :

•

• [

• {

• "

• i

• n

• d

• i

• c

• a

• t

• o

• r

• "

• :

•

• "

• Р

• а

• с

• ш

• и

• р

• е

• н

• и

• е

•

• п

• о

• д

• е

• р

• ж

• к

• и

•

• а

• п

• а

• р

• а

• т

• н

• о

• г

• о

•

• о

• б

• е

• с

• п

• е

• ч

• е

• н

• и

• я

•

• д

• л

• я

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

• "

• ,

•

• "

• e

• x

• p

• l

• a

• n

• a

• t

• i

• o

• n

• "

• :

•

• "

• С

• л

• е

• д

• у

• е

• т

•

• о

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

• ,

•

• п

• о

• я

• в

• я

• т

• с

• я

•

• л

• и

•

• р

• е

• а

• л

• и

• з

• а

• ц

• и

•

• T

• u

• r

• b

• o

• Q

• u

• a

• n

• t

•

• и

• л

• и

•

• а

• н

• а

• л

• о

• г

• и

• ч

• н

• ы

• х

•

• м

• е

• т

• о

• д

• о

• в

•

• с

• ж

• а

• т

• и

• я

•

• к

• э

• ш

• а

•

• K

• V

•

• д

• л

• я

•

• д

• р

• у

• г

• и

• х

•

• а

• п

• а

• р

• а

• т

• н

• ы

• х

•

• п

• л

• а

• т

• ф

• о

• р

• м

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• N

• V

• I

• D

• I

• A

•

• G

• P

• U

• )

•

• и

•

• н

• а

• с

• к

• о

• л

• ь

• к

• о

•

• о

• н

• и

•

• б

• у

• д

• у

• т

•

• э

• ф

• е

• к

• т

• и

• в

• н

• ы

• .

•

• Э

• т

• о

•

• п

• о

• к

• а

• ж

• е

• т

• ,

•

• я

• в

• л

• я

• е

• т

• с

• я

•

• л

• и

•

• т

• е

• х

• н

• о

• л

• о

• г

• и

• я

•

• у

• н

• и

• в

• е

• р

• с

• а

• л

• ь

• н

• о

• й

•

• и

• л

• и

•

• о

• с

• т

• а

• н

• е

• т

• с

• я

•

• н

• и

• ш

• е

• в

• ы

• м

•

• р

• е

• ш

• е

• н

• и

• е

• м

•

• д

• л

• я

•

• A

• p

• l

• e

•

• S

• i

• l

• i

• c

• o

• n

• .

• "

• }

• ,

•

• {

• "

• i

• n

• d

• i

• c

• a

• t

• o

• r

• "

• :

•

• "

• Н

• е

• з

• а

• в

• и

• с

• и

• м

• ы

• е

•

• с

• р

• а

• в

• н

• и

• т

• е

• л

• ь

• н

• ы

• е

•

• т

• е

• с

• т

• ы

•

• v

• L

• M

• "

• ,

•

• "

• e

• x

• p

• l

• a

• n

• a

• t

• i

• o

• n

• "

• :

•

• "

• Н

• е

• о

• б

• х

• о

• д

• и

• м

• о

•

• о

• т

• с

• л

• е

• ж

• и

• в

• а

• т

• ь

•

• п

• о

• я

• в

• л

• е

• н

• и

• е

•

• н

• е

• з

• а

• в

• и

• с

• и

• м

• ы

• х

•

• с

• р

• а

• в

• н

• и

• т

• е

• л

• ь

• н

• ы

• х

•

• т

• е

• с

• т

• о

• в

•

• v

• L

• M

•

• п

• р

• о

• т

• и

• в

•

• д

• р

• у

• г

• и

• х

•

• о

• п

• т

• и

• м

• и

• з

• и

• р

• о

• в

• а

• н

• ы

• х

•

• д

• в

• и

• ж

• к

• о

• в

•

• и

• н

• ф

• е

• р

• е

• н

• с

• а

•

• (

• н

• а

• п

• р

• и

• м

• е

• р

• ,

•

• T

• e

• n

• s

• o

• r

• R

• T

• -

• L

• M

• ,

•

• D

• e

• p

• S

• p

• e

• d

• -

• M

• I

• )

•

• н

• а

•

• р

• а

• з

• л

• и

• ч

• н

• ы

• х

•

• м

• о

• д

• е

• л

• я

• х

•

• и

•

• н

• а

• г

• р

• у

• з

• к

• а

• х

• .

•

• Э

• т

• о

•

• п

• о

• з

• в

• о

• л

• и

• т

•

• п

• о

• л

• у

• ч

• и

• т

• ь

•

• б

• о

• л

• е

•

• о

• б

• ъ

• е

• к

• т

• и

• в

• н

• у

• ю

•

• к

• а

• р

• т

• и

• н

• у

•

• е

• г

• о

•

• р

• е

• а

• л

• ь

• н

• о

• й

•

• п

• р

• о

• и

• з

• в

• о

• д

• и

• т

• е

• л

• ь

• н

• о

• с

• т

• и

•

• и

•

• п

• о

• д

• т

• в

• е

• р

• д

• и

• т

• ь

•

• и

• л

• и

•

• о

• п

• р

• о

• в

• е

• р

• г

• н

• у

• т

• ь

•

• з

• а

• я

• в

• л

• е

• н

• и

• я

•

• о

•

• «

• с

• а

• м

• о

• м

•

• б

• ы

• с

• т

• р

• о

• м

• »

•

• д

• в

• и

• ж

• к

• е

• .

• "

• }

• ]

TurboQuant on MLX: 4.6x KV cache compression with custom Metal kernels (Qwen 32B at 98% FP16 speed)

Хочешь такие брифы каждый день?