News: осінь на ринку LLM?; як не треба робити метріки; локальний інференс майбутнього
Notes de l’épisode
У цьому випуску обговорюємо зміни в настроях AI-індустрії. Компанії все рідше говорять про повну заміну людей ШІ і все частіше позиціонують його як інструмент для підвищення продуктивності.
Говоримо про NVIDIA RTX Spark та зростання інтересу до локального інференсу, проблеми використання токенів як метрики ефективності, реальну вартість впровадження AI для бізнесу та можливе охолодження ринку.
Також розбираємо заяви про домінування ботів у вебтрафіку, проблеми AI-підтримки в Meta, новини від Google та концепцію JEPA від Яна Лекуна як одну з потенційних альтернатив сучасним LLM.
00:40 — огляд GTC та нових продуктів NVIDIA
04:00 — порівняння NVIDIA Spark з Mac Studio
11:57 — тенденції в AI та локальному інференсі
18:29 — вплив цін на компоненти на ринок технологій
22:12 — перспективи локального інференсу та прогрес у великих моделях
28:45 — судові справи та авторські права в AI
32:29 — боти перевищують людей у мережевому трафіку
35:34 — презентація Google та нові технології помічників
39:19 — купівля кодів та нові можливості для розробників
42:53 — архітектура та нові концепції в ML
48:09 — абстракція в моделюванні та предикції
52:11 — потенціал LLM та їх правильне використання
56:13 — адаптація до нових реалій в програмуванні
01:02:25 — культ суперменів у IT