Искусственный интеллект в лингвистике
Руководитель программы:
Шухман Александр Евгеньевич, к.п.н., доцент, заведующий кафедрой МЦТ
Подразделение:
—
Год:
2025
Описание программы:
Целью подготовки слушателей по Программе является получение обучающимися по специальностям и направлениям подготовки, неотнесенным к ИТ-сфере, компетенции, необходимой для выполнения
нового вида профессиональной деятельности в области информационных технологий «Искусственный интеллект в лингвистике»
Разделы курса:
Язык программирования Python
Язык программирования Python. Переменные, операции, выражения.
Целые, действительные числа. Условия, циклы. Строки. Списки.
Словари. Описание функций, создание и использование классов.
Отладка программ. Использование интерактивных блокнотов Jupiter
Notebooks. Обработка текстовых файлов, JSON, CSV. Регулярные
выражения.
Библиотека Pandas. Операции с наборами данных. Загрузка и
обработка данных. Конструирование признаков. Фильтрация и
сортировка данных. Визуализация данных, основные виды графиков
и диаграмм. Библиотеки Matplotlib, Seaborn.
Интеллектуальный анализ данных и визуализация
Цели и задачи ИАД. Этапы анализа данных. Модель CRISP. Модель
SEMMA. Инструменты ИАД: Excel, BI-системы, языки
программирования для анализа данных, аналитические low-code
платформы.
Обработка и анализ данных в Yandex DataLens. Подключение
данных. Типы данных. Модель данных, настройки датасета.
Объединение данных. Чарт. Дашбоард. Селекторы. Вычисляемые
поля, синтаксис формул. Агрегатные функции. Оконные функции.
LOD-выражения и управление фильтрацией в агрегатных функциях.
Моделирование данных в Loginom. Интеграция с источниками
данных. Предобработка и консолидация данных. Разведочный
анализ. Визуализаторы общего назначения. Сложные визуализаторы
общего назначения. OLAP-анализ. Географические карты. Тепловые
карты. Плоское дерево. Диаграмма связей. Облако тегов. OLAP-кубы
в Loginom. Моделирование и прогнозирование. Развертывание и
интеграция.
Технологии машинного обучения
Анализ данных и машинное обучение. Обучение с учителем, без
учителя, с подкреплением. Основные задачи машинного обучения.
Принципы оценки качества моделей машинного обучения.
Задача регрессии, основные методы и оценка качества моделей.
Линейная и полиномиальная регрессия. Функции ошибок.
Регуляризация.
Задача классификации, базовые методы, оценка качества. Метод к
ближайших соседей. Логистическая регрессия. Решающие деревья.
Ансамблевые методы.
Задача кластеризации, основные методы и оценка качества Метод ксредних. Метод DBSCAN.
Обработка естественных языков
Предобработка, векторизация текстов. Классификация и
кластеризация текстов. Тематическое моделирование.
Искусственный нейрон. Функции активации. Многослойный
персептрон. Обучение нейросетей. Библиотека Keras+Tensorflow.
Сверточные нейронные сети и рекуррентные нейронные сети для
классификации текстов. Генерация текстов. Языковые модели.
Трансформеры. Мультимодальные модели.