Aller au contenu

#055 ML Илья Гусев. Как запускать большие языковые модели локально

18 janvier 2024 · 42 min

Notes de l’épisode

Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!


Ссылки выпуска:


Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" (https://habr.com/ru/articles/759386/)

Сервис для запуска больших языковых моделей локально - lmstudio (https://lmstudio.ai/)

Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально (https://github.com/oobabooga/text-generation-webui)

Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM (https://github.com/huggingface/text-generation-inference)

Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM (https://arxiv.org/abs/2307.01850)

Пост Ильи со списком материалов для погружения в NLP (https://t.me/natural_language_processing/81627)


Буду благодарен за обратную связь!


Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)

Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)


Мой телеграм для связи (https://t.me/kmsint)

Также со мной можно связаться по электронной почте: [email protected]


Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)


Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Tous les épisodes de Подкаст о машинном обучении (Machine Learning Podcast)

Paramètres

Affichage

Langue

Détermine les stations affichées en premier sur la page d’accueil.

Historique

Les stations et épisodes écoutés récemment et tes dernières recherches sont seulement enregistrés dans ce navigateur.

Notifications

Un court message quand un podcast que tu suis publie un nouvel épisode. Désactive un podcast précis avec la cloche sur sa page.

Compte

Enregistrez vos favoris – dans l’app et sur le site.

Raccourcis clavier

/
Ouvrir la recherche
Espace
Lecture ou pause
← →
Dans le lecteur : 15 s en arrière, 30 s en avant (épisodes) · dans une rangée : tuile suivante
↑ ↓
Dans une rangée : cible dans la tuile
Début / Fin
Dans une rangée : première ou dernière tuile
Esc
Fermer la fenêtre ou le menu
?
Cet aperçu
En cours de lecture

Voir la station

À suivre

    Ajoutez des épisodes avec « À suivre » – ils seront lus après l'épisode en cours.