Нефтедобывающая промышленность, добыча газа, строительство, информационная безопасность, финансовая сфера, здравоохранение, СМИ, соцсети – эти технологии используются повсеместно. Например, летом 2021 года Twitter запустил соревнование, которое должно помочь выяснить, насколько нейросети, а также алгоритмы этой соцсети предвзяты по отношению к разным социальным слоям населения.
Прикоснуться ко всем этим современным технологиям изнутри помогут курсы по машинному обучению. Мы подготовили обзор бесплатных учебных программ, которые упростят погружение в мир Machine Learning и помогут сориентироваться, в каком именно направлении вы хотите развиваться.
Большинство представленных бесплатных курсов основаны на обучающих материалах и методиках ведущих вузов, например, МФТИ и НГУ.
Что такое машинное обучение?
Машинное обучение (или Machine Learning, ML) – совокупность методов искусственного интеллекта, которые помогают компьютеру самостоятельно искать решения стоящих перед ним задач. Для этого ИИ должен анализировать большие массивы данных, находить закономерности, делать выводы на основе загруженной информации, прописанных алгоритмов. Грубо говоря, это наука, помогающая переложить сложные для человека задачи на плечи вычислительной машины, а еще сделать так, чтобы компьютер действовал в режиме реального времени сам, обучаясь и адаптируясь к новым условиям без явного программирования, минуя непосредственное вмешательство человека. Это процесс самосовершенствования ИИ на основе опыта.
Как это происходит: компьютер анализирует данные, составляет на их основе прогнозы, предлагает возможные решения задачи на основе проанализированной информации. Именно такой процесс спрятан, например, за умением вашей электронной почты автоматически сгружать нежелательные сообщения в папку «Спам» – алгоритм учится на основе того, какие сообщения вы сами относите к этой категории, разбирая почту.
Какие науки и дисциплины входят в машинное обучение?
Машинное обучение включает в себя математику, работу с алгоритмами, глубоким обучением, компьютерным зрением, программирование на Python и обработку естественных языков.
Математика – для работы в ML необходимы базовые знания в линейной алгебре, статистике.
Python – основной язык программирования, использующийся в Machine Learning. В принципе, его можно заменить функционалом других языков, но большинство специалистов по ML и Data Science предпочитают именно Пайтон. Чаще всего работодателей интересуют умение работать с такими библиотеками, как
Scikit-learn, NumPy, Pandas, NLTK, SciPy и Matplotlib/Seaborn.
Алгоритмы – чем большим их количеством вы владеете, тем точнее и разнообразнее сможете предлагать решения для стоящих перед вами задач. Потребуются базовые понятия по теме, понимание нейронных сетей. Какие алгоритмы понадобятся для успешной работы?
Basic Machine Learning Algorithms:
● Logistic Regression;
● Linear Regression;
● Naïve Bayes;
● Decision Trees;
● K-Means;
● KNN (K- Nearest Neighbors);
● Dimensionality Reduction.
Advanced algorithms:
● Random Forests;
● Dimensionality Reduction Techniques;
● XGBOOST;
● Gradient Boosting Machines;
● Support Vector Machines.
Глубокое обучение (Deep Learning) – работа с архитектурами нейронных сетей, совокупность методов ML (обучение с подкреплением, без учителя, с учителем, рекуррентные, рекурсивные, свёрточные нейронные сети). Эта сфера знаний понадобится, когда вы уже будете иметь базовые знания в области машинного обучения.
Компьютерное зрение (Computer Vision, CV) – еще одна смежная дисциплина с немного другими математическими законами, алгоритмами, экосистемой. Это область в науке об искусственном интеллекте, тесно связанная с анализом визуального контента – изображений и видео. Это совокупность методов, позволяющих компьютерным устройствам «видеть» и анализировать увиденное.
Обработка естественных языков (Natural Language Processing, NLP) – дисциплина, стоящая не пересечении Computer Science, ИИ и лингвистических наук. Ее используют для обучения нейронных сетей «понимать» и корректно переводить тексты, а также давать ответы на вопросы.
В чем разница между Big Data и Machine Learning?
Основное различие в том, что «большие данные» не связаны с конкретными вычислениями напрямую, это наука и практика сбора, анализа, хранения, а также обработки больших объемов информации с помощью математики, в том числе машинного обучения. К примеру, если вы хотите создать технологию, которая поможет вам понять, какой процент из всех транзакций по кредиткам был совершен на сумму более 10 долларов, проанализировав миллиарды операций, речь о больших данных. Если же вы хотите научить компьютер считать это и самостоятельно искать решение этой задачи, речь о машинном обучении.
В чем разница между Artificial Intelligence (AI) и Machine Learning?
Artificial Intelligence – это искусственный интеллект. Это понятие включает широкий спектр категорий: от научных теорий до конкретных технологий для создания программ, приближенных по характеристикам к человеческому интеллекту. Машинное обучение – это раздел AI, одна из его практических сторон и вариантов применения в реальной жизни, например, в бизнесе, на производстве, в науке.
Что должен уметь и знать специалист по ML?
В этой области понадобятся фундаментальные знания по математике, технике, статистике. Войти в эту индустрию будет проще, если у вас за плечами курсы по big data, data science и/или программированию на Пайтоне.
Какие знания понадобятся для успешного построения карьеры в этой отрасли:
● Понимание вероятностых моделей, перцептрона, многомерного моделирования, основных алгоритмов обучения, пайплайнов, знание, что такое байесовские методы, бустинг, кросс-валидация, etc.
● Умение работать с большими данными, оцениванием, градиентом, логическими методами поиска информации.
● Владение азами программирования на Python, R, Java – для анализа и моделирования данных.
● Знание SVM – метода опорных векторов, градиентного спуска, etc.
● Уверенная работа с фреймворками Keras и Tensorflow, библиотеками Pandas, Scipy и NumPy, инструментом Matplotlib, MySQL.
● Владение английским языком на достаточном для программирования и самообразования уровне.
● Понимание принципа функционирования СУБД PostgreSQL, SQLite3, MongoDB.
Специалист по ML для успешного прохождения собеседований должен на профессиональном уровне уметь визуализировать данные, создавать интерактивную инфографику, выполнять ассоциативный анализ, решать реальные задачи, создавать модели машинного обучения. В этой отрасли ценятся узкие специалисты – выберите предметную область и копайте вглубь, не забывая отслеживать актуальные тенденции своей ниши и отрасли в целом. Постоянное самообразование, улучшение и совершенствование навыков, ускорение решения задач – ключ к карьерному росту, а также повышению заработной платы.
Какие типы данных применяются в ML?
Структурированные данные – предварительно определенные и отформатированные (например, таблица успеваемости студентов).
Неструктурированные данные – неотформатированные, например, текстовые файлы, аудио, видео и т.д. Такие данные обрабатываются непосредственно перед использованием в вычислениях.
Также это могут быть числовые и количественные (непрерывные, дискретные), а также качественные и категориальные (порядковые, номинальные) данные. Подбор нужных гиперпараметров для алгоритма обучения машин называют оптимизацией гиперпараметров.
Для чего используют Scikit learn?
Это библиотека на Пайтоне с большим количеством эффективных классов и инструментов для машинного обучения, а также статистического моделирования, в том числе операций регрессии, кластеризации, выбора функций, настройки параметров и т.д. Чаще всего ее используют для прогнозирования, анализа. Также может записываться как Sklearn.
Сколько зарабатывает специалист по ML?
В 2021-2023 году ML-специалистов колеблется в пределах 70-300 тысяч рублей. Здесь определяющую роль играет опыт, умения, портфолио, политика компании-работодателя, ситуация на нишевом рынке труда в регионе. Постоянное самообразование, оптимизация рабочего процесса и совершенствование навыков позволят постепенно повышать свою ЗП.
Что такое простая и множественная линейная регрессия, в чем между ними разница?
Регрессией называют процесс поиска корреляции между зависимыми и независимыми переменными. Этот параметр используют при предсказании непрерывных переменных, например, при составлении прогнозов по динамике фондового рынка, стоимости аренды на жилье и т.д.
Простая линейная регрессия (парная) – модель, показывающая взаимосвязь между одной входной независимой и одной выходной зависимой переменными с помощью линейной модели, например, прямой. Множественной называют линейную регрессию, у которой в модели содержится две и более независимых переменных и, в отличие от простой регрессии, вместо линии используется гиперплоскость.
Какие книги стоит прочесть по теме?
Список литературы огромен, что читать, зависит от вашего исходного уровня знаний, целей изучения предмета – в Google и Яндексе можно найти множество материалов по углубленному изучению ML, а также литературу для новичков. Что порекомендуем от себя:
● Foundations of Machine Learning – Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar (2012);
● Applied Predictive Modeling – M. Kuhn, K. Johnson (2013);
● Machine Learning – Andrew Ng;
● Анализ больших наборов данных — перевод Mining Massive Datasets — Jure Leskovec, Anand Rajaraman, Jeff Ullman;
● Построение систем машинного обучения — Л. П. Коэльо, В. Ричарт (2016);
● 100+ Free Data Science Books — более 100 бесплатных книг по Data Science;
● 16 Free Machine Learning Books — ещё 16 бесплатных книг по ML.
Достаточно ли будет бесплатных курсов?
Нет, наука о машинном обучении сложна и многогранна – одних только бесплатных компьютерных курсов по теме недостаточно, нужен фундаментальный подход с систематизированными материалами, понятными объяснениями, ответами на вопросы, обратной связью от наставника с большим опытом. Если вас интересует профессия Machine Learning специалиста, вам нужен полноценный курс обучения в лицензированном учебном заведении.
Но бесплатные курсы – хороший вариант попробовать, погрузиться в эту отрасль знаний, чтобы понять, подойдет ли она вам, какие области нужно подтянуть, в каком направлении двигаться. Особенно учитывая стоимость платных программ обучения по теме от именитых школ, например, Нетологии, Otus, Skillfactory и т.д.
Главное – выбрать вектор и идти к цели, начиная с основ. И бесплатные курсы по машинному обучению помогут вам определиться с обоими составляющими успеха. В нашей подборке есть варианты как для зеленых новичков, так и для более продвинутых в теме людей. Выбирайте, пробуйте, все получится.
