Маргарита Акулич - Машинное обучение: как его понимать. И как заработать на машинном обучении и искусственном интеллекте

Понятие машинного обучения

Под термином «машинное обучение» (Machine learning- Ml) принято понимание общего термина для обозначения средства, предназначенного для решения проблем, для которых разрабатывать алгоритмы специалистами по программированию могло бы оказаться чрезмерно затратно. Решения проблем осуществляются в итоге с опорой на оказание машинам помощи в открытии «открытии» своих «собственные» алгоритмов без необходимости получения ими явных указаний, что им делать, используя любые разработанные человеком алгоритмы.

Применение Ml-подходов имело место в таких направлениях (или областях), где осуществление разработки алгоритмов для выполнения нуждающихся в выполнении задач чрезмерно недешево. Это такие направления (или области), как медицина, сельское хозяйство, фильтрация электронной почты, распознавание речи, компьютерное зрение, большие языковые модели.

Для машинного обучения имеет место  существование множества приложений. Этика машинного обучения становится отдельной областью исследований и должна быть интегрирована в команды разработчиков машинного обучения.

Математические основы ML

Если говорить о математических основах ML, то ими обеспечиваются методы математической оптимизации (это из области математического программирования). Параллельной (смежной) областью исследований, в которой основное внимание уделяется исследовательскому анализу данных с помощью «обучения без учителя», является интеллектуальный анализ данных, предназначенный для решения бизнес-задач, известных как «прогнозная аналитика». Не все ML базируется на статистике, однако надо принимать во внимание, что вычислительную статистику считают значимым источником методов в рассматриваемой области.

Преследуемые современным Ml цели

Целей, преследуемых современным Ml, насчитывается две. Во-первых, это цель классификации данных на базе разработанных моделей, во-вторых – цель прогнозирования будущих результатов с опорой на эти модели. Ml-алгоритм для торговли акциями может информировать трейдера о будущих потенциальных прогнозах. Для классификации данных о родинках возможно использование компьютерного зрения в сочетании с контролируемым обучением, чтобы научить его классифицировать родинки, разделяя их на злокачественные и не злокачественные.

Машинное обучение как область искусственного интеллекта

Как научная деятельность, Ml возникло в результате поисков в области искусственного интеллекта (Artificial Intelligence – AI). На заре AI как академической дисциплины некоторые из исследователей были заинтересованы в том, чтобы происходило обучение машин на данных. Они пытались подойти к проблеме с помощью различных методов, а также того, что было названо «нейронными сетями»; это были в основном перцептроны и иные модели, которые в более позднее время оказались переосмыслением обобщенных линейных статистических моделей. Также применение находили (особенно в автоматизированной медицинской диагностике) вероятностные рассуждения.

Однако имел место рост внимания к логическому, базирующемуся на знаниях подходу. Это спровоцировало раскол между AI и Ml. Вероятностные системы столкнулись с проблемами (теоретического и практического плана) в такой области, как область сбора и представления данных.

К периоду 1980-х годов в AI-области доминирующими стали экспертные системы, оставив позади вышедшую из моды статистику. Работа над базирующимися на знаниях/символизме обучением продолжалась в рамках AI, что привело к индуктивному логическому программированию. Но более статистическое направление исследований теперь оказалось за пределами собственно AI, в области распознавания образов и поиска информации. Исследования в сфере нейронных сетей были практически одновременно прекращены информатикой и AI.

Данная линия также была продолжена как «коннекционизм» исследователями в других дисциплинах, которыми являлись (в том числе) Хинтон, Румельхарт и Хопфилд. Их ключевой успех пришелся на время середины 1980-х г.г., когда ими был изобретен метод обратного распространения ошибки.

Примечание:

Расцвет машинного обучения, реорганизованного и признанного отдельной областью, пришелся на 1990-е г. г. Эта область с достижениями в области искусственного интеллекта изменила свою цель на решение решаемых проблем практического характера. Он сместил акцент с символических подходов, унаследованных от AI, на модели и методы, заимствованные из таких областей как статистика, теория вероятностей и нечеткая логика.

Обобщение опыта

Основная цель в обучении – обобщение своего опыта. Обобщением в рассматриваемом контексте является способность обучающейся машины к точному выполнению новых, ранее незнакомых примеров/задач после изучения набора обучающих данных. Обучающие примеры берутся из некоторого, как правило, неизвестного распределения вероятностей (считающегося репрезентативным для пространства событий), и от обучающегося требуется построение общей модели этого пространства, способной давать ему в новых случаях отличающиеся достаточной точностью прогнозы.

Вычислительный анализ алгоритмов машинного обучения и их производительности

Вычислительный анализ ML-алгоритмов и их производительности является разделом теоретической информатики, известным как теория вычислительного обучения, с использованием модели «вероятно приблизительно правильного обучения» (PAC). Так как будущее неопределенно, а обучающие наборы конечны, теория обучения обычно не дает вероятностные границы производительности алгоритмов – здесь обходится без гарантий.

Одним из способов количественной оценки ошибки обобщения является разложение смещения-вариации.

Для достижения наилучшей производительности в контексте обобщения сложность гипотезы должна соответствовать сложности лежащей в основе данных функции. Если вы сталкиваетесь с ситуации меньшей сложности гипотезы в сравнении со сложностью функции, то можно говорить о том, что данные моделью подогнаны недостаточно. Если в ответ обеспечить увеличение уровня сложности модели, то ошибка обучения окажется меньшей Но если гипотеза отличается чрезмерной сложностью, модель может быть переобучена, и обобщение окажется хуже.