Zum Inhalt springen

#055 ML Илья Гусев. Как запускать большие языковые модели локально

18.01.2024 · 42 Min.

Shownotes

Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!


Ссылки выпуска:


Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" (https://habr.com/ru/articles/759386/)

Сервис для запуска больших языковых моделей локально - lmstudio (https://lmstudio.ai/)

Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально (https://github.com/oobabooga/text-generation-webui)

Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM (https://github.com/huggingface/text-generation-inference)

Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM (https://arxiv.org/abs/2307.01850)

Пост Ильи со списком материалов для погружения в NLP (https://t.me/natural_language_processing/81627)


Буду благодарен за обратную связь!


Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)

Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)


Мой телеграм для связи (https://t.me/kmsint)

Также со мной можно связаться по электронной почте: [email protected]


Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)


Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Alle Folgen von Подкаст о машинном обучении (Machine Learning Podcast)

Einstellungen

Darstellung

Sprache

Bestimmt, welche Sender dir auf der Startseite zuerst gezeigt werden.

Verlauf

Zuletzt gehörte Sender und Folgen und deine letzten Suchen liegen nur in diesem Browser.

Hinweise

Ein kurzer Hinweis, wenn ein Podcast, dem du folgst, eine neue Folge hat. Einzelne Podcasts stellst du über die Glocke auf ihrer Seite ab.

Konto

Favoriten speichern – in der App und auf der Website.

Tastenkürzel

/
Suche öffnen
Leertaste
Abspielen oder anhalten
← →
Im Player: 15 s zurück, 30 s vor (Folgen) · im Regal: nächste Kachel
↑ ↓
Im Regal: Ziel innerhalb der Kachel
Pos1 / Ende
Im Regal: erste bzw. letzte Kachel
Esc
Fenster oder Menü schließen
?
Diese Übersicht
Läuft gerade

Zur Senderseite

Als Nächstes

    Folgen mit „Als Nächstes“ vormerken – sie laufen nach der aktuellen Folge.