Pular para o conteúdo

#072 ML Татьяна Шаврина. Бенчмарки для LLM или как оценивать большие языковые модели?

17 de abril de 2025 · 1 h 21 min

Notas do episódio

В гостях сегодня Татьяна Шаврина, старший научный сотрудник Института Языкознания РАН. Обсуждаем бенчмарки - стандартизированные наборы тестов, метрик и протоколов оценки, предназначенные для объективного измерения производительности больших языковых моделей. Что произошло в индустрии за последние 4 года с момента записи предыдущего выпуска? Все ли проявления естественного интеллекта можно наблюдать у искусственного? Как автоматизировать науку? Как и для чего автоматически проверять новые архитектуры сетей на разных доменах? Скоро ли агентные системы начнут выигрывать у людей kaggle-соревнования? Как ИИ-учёные ддосят учёных-людей? Зачем большим языковым моделям сдавать выпускные экзамены на бакалавра? Как не допустить того, чтобы разработчики бенчмарков и больших моделей договорились? Какие проблемы существуют у современных решений? Почему к OpenAI всегда так много претензий? Кто и как придумывает бенчмарки? Придумали ли бенчмарк для определения, что AGI уже здесь? Если заработал сто миллиардов долларов, то уже AGI? Где взять бенчмарки, если ты не OpenAI? Почему высокие метрики на бенчмарках могут не являться решающим фактором при выборе модели под свою задачу? Обо всём этом и многом другом в выпуске!


Ссылки выпуска:


Телеграм-канал Татьяны (https://t.me/rybolos_channel)


Буду благодарен за обратную связь!


Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)


Обо мне (https://t.me/toBeAnMLspecialist/935)

Мой телеграм для связи (https://t.me/kmsint)

Также со мной можно связаться по электронной почте: [email protected]


Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов и вообще вести проекты на Python!

Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_72).


Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Todos os episódios de Подкаст о машинном обучении (Machine Learning Podcast)

Configurações

Exibição

Idioma

Define quais estações você vê primeiro na página inicial.

Histórico

As rádios e episódios ouvidos recentemente e suas últimas buscas ficam só neste navegador.

Avisos

Um aviso rápido quando um podcast que você segue tem um episódio novo. Desative podcasts individuais pelo sino na página deles.

Conta

Salve favoritos – no app e no site.

Atalhos de teclado

/
Abrir busca
Espaço
Reproduzir ou pausar
← →
No player: voltar 15 s, avançar 30 s (episódios) · na fileira: próximo bloco
↑ ↓
Na fileira: alvo dentro do bloco
Home / End
Na fileira: primeiro ou último bloco
Esc
Fechar janela ou menu
?
Esta visão geral
Tocando agora

Ir para a estação

A seguir

    Adicione episódios com “A seguir” – eles tocam depois do episódio atual.