Для чего используется питон? Процесс написания программ. Как изучать машинное обучение

Если вы будете искать ответ на вопрос: «Какой язык программирования выбрать первым», то где-то в 90% всех случаев вам будет предложен Python - как наиболее простой в изучении язык. И очевидно, что определенное число людей, которые до этого не учили программирование, выберут Python из-за этих рекомендаций. И вот тут у нас начинается проблема, о которой пойдет речь ниже. Конечно, с описанием того, как я дошел до такой жизни.

О себе

Еще в студенческие годы я понял, что моя специальность не такая уж радужная, как мне казалось в 18 лет. Поэтому я стал думать о том, как заработать адекватные деньги. И наслушавшись историй о том, как мой двоюродный брат получал безумные на то время деньги в 1С, я также решил связать свою жизнь с IT.

Изначально это были шаблонные сайты на конструкторах и wordpress, потом я занялся SEO, и в один момент наткнулся на Хабр, после чего решил стать полноценным программистом. Высшей математики у меня не было, поэтому я решил выбрать сферу, где она не требуется – веб-разработка.

У меня появился очевидный вопрос: какой язык выбрать – php/python/ruby. Насмотревшись статей на Хабре, почитал хейт в сторону php, посмотрев пару мотивационных роликов от Yandex. Я выбрал Python. Преимущества языка, я надеюсь, вы знаете, поэтому не буду про это говорить.

Первичное обучение языку

Обучение языку я совмещал с основной работой, поэтому читал книжки, смотрел туториалы, пилил небольшие проекты в вечернее время. В общем, за год я

1) Изучил книги:

  • Марк Лутц - Изучаем Python
  • Марк Лутц - Программирование на Python
  • Чед Фаулер – Программист Фанатик
  • Билл Любанович – Простой Python
2) Изучил множество роликов от Украинских/Буржуйских авторов по Django
3) Прошел курс от codeacademy
4) Освоил PyCharm

Свой первый проект

Далее у меня появилась идея небольшого сервиса на весьма специфичную тематику, который я решил сделать, чтобы закрепить знания Python + Django.

В создания сайта я

1) Изучил книги:

  • Джон Дакетт - HTML и CSS. Разработка и дизайн веб-сайтов
  • Дэвид Флэнаган - JavaScript. Подробное руководство
  • Бен Форта - Освой самостоятельно SQL.
2) Изучил документацию Django под свои задачи
3) Изучил деплой проектов на Django Gunicorn + nginx + centOS

Свой первый нормальный проект

После того, как первый адекватный сайт провалился, я решил создать уже что-то стоящее, выбрал идею, выбрал схему реализации и за 3 месяца по вечерам его сделал.

Проект показал свою жизнеспособность (по сей день приносит мне определенные деньги, чему я безумно рад). И я решил уже его прокачать получше.

После прочтения книги «Percival H. - Test-Driven Development with Python», решил написать тесты сначала на основе компонентов Django, потом поднял документацию селениума, и уже сделал внешние тесты.

Я хочу быть крутым

Открыв вакансии по Python-Django разработчикам, я посмотрел что еще обычно требуется в таких вакансиях:
  • Django Rest Framework
  • Celery
  • Tornado/Twisted/ asyncio (На выбор что-то одно)
  • Class-based view Django
  • Angular/React (На выбор что-то одно)
Потратил 3 месяца на знакомство/пробование с этими штуками. Также поднял стандартную библиотеку Python + внешняя библиотека для парсинга beautifulSoup.

Ты не тру без C/C++

Бытует мнение, что без знания C/C++ программист не может называть себя программистом. Поэтому когда у меня было свободное время, я познакомился с книгами:
  • Брайн Керниган – Язык программирования С
  • Стенли Б ЛиппМан – Язык программирования С++. Базовый курс
Прочитал книги, поковырялся с кодом, посмотрел на компиляцию, посмотрел примеры кода. В общем, теперь я не делал большие глаза при упоминании ссылок, указателей, сортировок, ООП и туче разных массивов с разными скоростями обработки элемента, в зависимости от его позиции.

Я готов к бою!

И вот тут мы приходим к самому важному моменту. Потратив в общей массе 2 года на изучение всех элементов веб-программирования, о которых я говорил выше. Я посчитал себя достаточно готовым, чтобы претендовать на позицию веб-разработчика на Python. Конечно, что-то я знал не очень хорошо, что-то поверхносто, а что-то вообще не знал (например, Flask), но общее понимание и навыки были неплохими.

И вот тут начались проблемы с Python, на которых люди чаще всего не заостряют внимание. А именно на востребованности бизнеса в Python-разработчиков junior/pre-middle уровня.

С этим вопросом я вышел на рынок

Хотя на первый взгляд кажется, что вакансий на Python достаточно много, но когда начинается конкретика, все резко меняется.

1. Сразу идет большой отсев вакансий, где Python является исключительно вспомогательным языком. Чаще всего это позиции Java-разработчиков, Системных Администраторов, QA-Автоматизация. Также сейчас идет большой отсев по Data Learning, где требуется мат-образование + язык R. Т.е. с одним Python вы эту вакансию не сможете подобрать.

2. Оказалось, что в моем городе вакансий под Python нет, от слова вообще нет. Расширив поиск по всей области, я также получил неудовлетворительный результат. Пару вакансий на PHP, где Python шел «будет плюсом». Открыв фильтр за последние 3 года, я также обнаружил, что вакансий на Python не было вовсе. Т.е. бизнес в провинции чаще всего выбирает более простые и популярные технологии, нежели Python.

3. Открыв вакансии на Python в общем поисковике, я обнаружил следующие тенденции:

  • 90% + вакансий находятся в Москве или Санкт-Петербурге
  • 90% + вакансий требуют уровень middle+ / seniour
  • ~100% вакансий junior позиций в Москве или Санкт-Петербурге (чаще всего от гигантов)
Другими словами получилась ситуация, что если ты не живешь в Москве, Санкт-Петербурге и не собираешься ехать их «покорять», то тебе практически негде получить свою первую работу.

Конечно, есть пару очагов, где Python еще используется, например, в Казани. Но чаще всего это какая-то одна фирма, где с Вакансиями тоже весьма middle+ / seniour.

4. Вариант поиска удаленки на текущий уровень также показал, что работодатели не готовы идти на такой риск. Мало опыта + удаленка = это какая-то фантастика.
Тем не менее, я все же смог найти пару вариантов, но уже в ходе первичного собеседования стало понятно, что это ерунда по типу: «Ты у нас три месяца поработай, и если клиент заплатит за твою работу, мы тебе тоже заплатим». Не самый лучший вариант.

5. Поговорил с парой HR из крупных компаний, они высказали такую тенденцию. «Мы обычно берем людей с опытом на Python от года, плюс опытом на другого языке (3+ года). Чаще всего php/Java». Другими словами, они вообще не рассматривали варианты, чтобы взять человека с одним лишь Python.

6. Поговорив с ребятами с профильных форумов, стало понятно, что это достаточно типичная ситуация. Из их рассказов стало понятно, что люди после тщетных поисков либо шли работать на php/1c, либо как-то пролазили через upwork/собственный проект/автоматизацию тестирования.
Но опять же от случая к случаю.

В общем, оказалось, что Python – это отличный язык, который позволяет делать мощные проекты. И так уж сложилось, что их концентрация находится в столицах. И раз это сложные проекты, то и сотрудники туда требуются уже уровня middle+. Готов ли человек, который только что изучил Python получить такую вакансию? Трудно!

Но есть другой путь!

В настоящий момент только в моем городе находится 24 вакансии на php различного уровня (начиная от небольших компаний, которым нужно поддерживать текущий сайт, заканчивая гигантами e-commerce, которые предлагают последовательное расширение функционала). И примерно столько же вакансии на 1С. И где-то на половине из этих вакансий готовы взять человека, который хотя бы что-то знает в программировании. Скорее всего, это не самые лучшие места, но это уже первая работа, после который вы официально для HR станете программистом с опытом.

Так что в итоге

Получается ситуация, что можно изучить клевый язык программирования Python и остаться на улице. А можно выучить «ненавистный» php/1c и получить работу. Качество этой работы, конечно же, оставляет много вопросов – но это уже опыт.

Что касается меня, то в моих условиях (не ехать в Москву/СПб) я фактически потратил время на изучение языка, который сейчас востребован исключительно в моих собственных проектах. Найти работу на месте или удаленке у меня не получилось. Сейчас иду в сторону php, так как на нем банально есть работа.

Поэтому если вы не живете в Москве, СПб, не являетесь студентом тех-вуза, то я бы не советовал вам учить Python первым языком. Обратите внимание на PHP – под него всегда есть места, есть работа, есть опыт. А дальнейший путь развития уже за вами.

P.S. Как подсказал мне мой знакомый, на Ruby почти такая же ситуация. Но тут я уже говорить с уверенностью не могу.

Все плохо, в качестве pet проектов можно использовать Kivy, для реальной разработки весьма сомнительно, вакансий на Kivy нет.

Т.е. как, я лично разговаривал с рядом людей, которые имели свой веб-проект на Python и для захвата большой аудитории писали приложения на Kivy, и у них его даже использовали, но это имеет вид «Программист пишет то, на чем хочет».

Машинное обучение и Data science (адекватно и перспективно)

Это одна из самых хайповы областей современного IT-мира, где используется Python в качестве инструмента апробации. Python имеет ряд удобных библиотек машинного обучения и научных расчетов: Pandas, NumPy, SciPy, Scikit-Learn, которые позволяют достаточно быстро построить рабочие модели. И они на самом деле неплохо работают.

Что касается использования, то Python используется в качестве инструмента апробации, либо на небольших задачах. Если проект большой, то обычно модель пишут на Java/Scala/C++, а специалист по обучению уже выступает в качестве консультанта/аналитика.

Сложность этого направления заключается в том, что у вас должны быть высокие знания в области математики и статистики, практически всегда будет спрашиваться высшее технические, математическое образование.

По вакансиям все довольно неплохо, но в таких вакансиях требуется не знание Python, а ваша голова.

Тем, кто хочет быстренько пощупать данное направление, советую прочитать книгу: «Vvedenie_v_mashinnoe_obuchenie_s_pomoschyu_Python_-_A_Myuller_S_Gvido_2017» - есть на торрентах, читается быстро, представление дает хорошее.

Веб-скрапинг (возможно, но сомнительно)

Питон имеет три вещи, которые делают его весьма эффективными в области веб-скраппинга, бибиотеку Requests, beautifulsoup и АПИ для Selenium. Если сюда подключиться библиотеки для компьютерного зрения и Машинное обучение, то получаются весьма эффективные инструменты.

Проблема заключается в том, что вакансий в этой сфере мало, основные клиенты сидят на фрилансе, которые предлагают за фикс написать им скрипты парсинга для их говно-сайтов, спам-машин, и изредка генераторов отзывов.

Область интересная, но денег в ней мало.

Компьютерное зрение (сомнительно)

В питоне есть ряд инструментов, которые позволяют писать инструменты компьютерного зрения, они даже используются местами в коммерческих продуктах, либо в качестве компонентов, например, для веб-скраппинга. Однако Питон явно нельзя назвать подходящим инструментов, поэтому использование крайне ограничено, вакансий практически нет.

GameDev (сомнительно)

Практически в каждом обсуждении разработки игры на Python приводят в качестве примера eve online и WarGaming. Однако в первом случае используется stateless python, а во втором случае все ограничивается языком написания сценариев.

Что же касается реального использования, то у вас появляется три движка Kivy, PyGame, Panda3D, если первые два больше подходят для пет-проектов, то третий реально использовался на боевых проектах неплохого качества, правда эти проекты были 2004 года. Что как бы намекает, что использование проверенных движков на других языках типа Unity или Game Maker выглядит более убедительно.

Однако незаметно сюда крадется движок Ren’Py, который внезапно стал лучшим движков для написания визуальных романов (страдальческих историй для девочек), которые неплохо окупаются даже в рамках РФ. Серия «7 демонологов Петра Великого», тому доказательство.

Вакансий в GameDev для питона естественно нет, но деньги на «стартапе» поднять можно при должной сноровке. Но надежней взять другой язык и проверенные движки.

Веб-разработка (адекватно и перспективно)

Питон входит в тройку языков (Python, PHP, Ruby), которые обладают развитыми экосистемами быстрой разработки веб-проектов адекватного качества. Ключевыми платформами тут являются:
  • Django (монолитный синхронный фреймворк)
  • Flask (микро синхронный фреймворк)
  • Tornado (монолитный асинхронный фреймворк)
  • Twisted (монолитный асинхронный фреймворк)
  • Aiohttp (микро асинхронных фреймворк)
В настоящий момент большую часть рынка занимает фреймворк Django, но с приходом идей микросервисов постепенно обороты стал набирать Flask. Что касается асинхронности, то тут все сложно, так как Tornado и Twisted признаны устаревшими (хотя на них работают многие компании, тот же Тиньков), а aiohttp весьма сырой, и его использование ставится под большим вопросом.

Сила Python заключается в том, что он позволяет быстро разрабатывать комплексные веб-приложения, имеет огромное число качественных модулей, прекрасно подходит для сервисов статистики и аналитики (где, в общем, и идет для него большая часть вакансий). Данное направление занимает оставшуюся треть всех вакансий.

Отдельно хочется отметить написание ГИС сервисов на Python, которые хотя и имеют вполне адекватный инструментарий для работы с геоданными, но все же использование Java для этих целей выглядит перспективней.

Выводы об использовании питона

1) Что касается сферы девопса и тестирования, то Питон является ключевым инструментом профессии, который обязателен для каждого адекватного специалиста. Питон в данном случае не учат, к нему приходят по необходимости.

2) Наиболее перспективными выглядят сферы веб-разработки и машинного обучения (аналитики), которые явно выделяют питон на фоне его конкурентов в виде PHP и Ruby. И если вы хотите изучить питон, то вам желательно сосредоточится именно на этих сферах и не тратить свое время на что-то другое. Под это есть вакансии, на этом можно построить стартап.

3) Все остальные сферы, хотя и предлагают определенные инструменты для решения проблем, но перспективность использования этих инструментов выглядит весьма сомнительно. И главное, найти оплачиваемую работу на эти сферы практически невозможно.

Какие программы написаны на Python?

Прикладное ПО для нормальных людей

Давайте пройдемся для начала по программам, которыми пользуются обычные люди, не являющиеся специалистами в области информационных технологий.

BitTorrent

Все версии до 6 этого торрент-клиента были написаны на Python. Версия 6 была переписана на C++.

Ubuntu Software Center

Цитата из Википедии :
Центр приложений Ubuntu (англ. Ubuntu Software Center ) - свободное программное обеспечение для поиска, установки и удаления пакетов в системе Ubuntu Linux . в последних версиях возможна покупка журналов о Linux и Ubuntu , также можно приобретать платные игры и софт . Приложение разработано на языке Python + Vala с использованием библиотек GTK+ и является графической оболочкой для Advanced Packaging Tool .

Blender

Цитата из Википедии :
Blender - свободный, профессиональный пакет для создания трёхмерной компьютерной графики, включающий в себя средства моделирования, анимации, рендеринга, постобработки видео, а также создания интерактивных игр. В настоящее время пользуется наибольшей популярностью среди бесплатных 3D редакторов в связи с его быстрым и стабильным развитием, которому способствует профессиональная команда разработчиков.

Python используется как средство создания инструментов и прототипов, системы логики в играх, как средство импорта/экспорта файлов (например COLLADA), автоматизации задач.

Вот несколько страниц с документацией:

GIMP

Цитата из Википедии :
Python используется для написания дополнительных модулей, например, фильтров.
Вот несколько страниц, которые глубже раскрывают тему:

Игры

Civilization IV

Большая часть игры написана на Python ().

Battlefield 2

В сети Интернет есть много учебников и просто рецептов по изменению различных объектов и их поведения.

World of Tanks

Цитата из статьи " GUI в игре World of Tanks ":
В качестве скриптового языка в проекте используется Python. Всю красоту, которую мы сделали во Flash, нужно подключить в игре, наполнить данными, обработать и транслировать пользовательский ввод в реальные действия в игре. Все это как раз и делается в Python.
Более полный список игр, которые используют Python, можно найти в Википедии и документации к Python .

Какие компании используют Python?

Список компаний, которые используют Python, длинный. Среди них Google , Facebook , Yahoo , NASA , Red Hat , IBM , Instagram , Dropbox , Pinterest , Quora , Яндекс , Mail.Ru .

Яндекс

Вот, пожалуйста, доклад " Python в ядре Яндекс.Диска ". Сергей Иващенко (докладчик):
Я расскажу о том, как мы используем Python в Яндекс.Диске, какие применяем библиотеки и фреймворки, какие задачи решаем и с какими проблемами сталкиваемся. Также затрону тему логирования и обработки асинхронных операций.
В одном из видео на канале Яндекса, сотрудники рассказали о своих любимых языках.

А ещё в блоге компании Яндекс есть запись " На каких языках программирования пишут в Яндексе " от 19 марта 2014 года. Так вот, 13% сотрудников Яндекс большую часть рабочего времени пишут на языке Python.

Mail.ru

Сотрудники Mail.ru тоже используют Python. В официальном блоге Mail.ru на Хабре есть несколько статей о Python:

Google

В Google с самого основания активно использовали Python. Есть слухи, что большая часть YouTube и Google Drive написана на Python. Google разработал целую облачную платформу Google App Engine, чтобы разработчики могли запускать код на Python в облаке Google. Многие разработчики языка работали и работают в Google.

DropBox

Сервис разработан на языке Python. Не случайно сам автор языка Python, Гвидо ван Россум , работает в DropBox.

Другие компании

The organizations that use Python

В каких областях применяется Python?

Web-разработка

В этой области Python, пожалуй, используется больше всего. Веб-фреймворк Django продолжает набирать обороты, пополняя армию своих фанатов. Многие начинающие программисты даже думают, что Python больше нигде не используется. Но на Python написаны многие другие веб-фреймворки: Pylons , TurboGears , CherryPy , Flask , Pyramid и другие. С более полным списком можно ознакомится .
Есть и CMS на базе Django, она так и называется DjangoCMS .
Очень часто на Python пишут и парсеры сайтов. Обычно для этого используют Requests , aiohttp , BeautifulSoup , html5lib . Есть и более высокоуровневые инструменты для парсинга сайтов: Scrapy , Grab .

Системное администрирование

Python - это отличный язык для автоматизации работы системного администратора. Он установлен по умолчанию на все Linux-сервера. Он простой, понятный. Код на Python легко читается. Некоторые любят Perl, я тоже его люблю за удобную работу с регулярными выражениями, но я ненавижу Perl за его синтаксис. Bash удобен для относительно небольших и средних скриптов, но Python мощнее и в некоторых случаях позволяет писать намного меньше кода.
Единственный пакет, который я знаю, это Fabric . Возможно есть что-то ещё, напишите мне в комментариях, если знаете.

Дополнительная информация

Python for system administrators (IBM developerWorks)
Fabric documentation. Systems Administration.

Встроенные системы (embedded systems)

Очень часто Python используется для программирования встроенных систем. Самый известный проект, который использует Python - это Raspberry Pi. Но он не единственный:
Embedded Python
Raspberry Pi
Python Embedded Tools
The Owl Embedded Python System

Разработка прикладного ПО, в том числе игр

Python часто используется как вспомогательный язык при разработке прикладного программного обеспечения. Примеры я уже приводил выше, не буду повторяться.

Научные исследования

Физики и математики очень любят Python за его простоту. Кроме того для Python существует огромное количество библиотек, облегчающих жизнь ученому. Например:
  1. SciPy - это открытая библиотека высококачественных научных инструментов для языка программирования Python. SciPy содержит модули для оптимизации, интегрирования, специальных функций , обработки сигналов , обработки изображений , генетических алгоритмов , решения обыкновенных дифференциальных уравнений и других задач, обычно решаемых в науке и при инженерной разработке.
  2. Matplotlib - библиотека на языке программирования Python для визуализации данных двумерной (2D) графикой (3D графика также поддерживается). Получаемые изображения могут быть использованы в качестве иллюстраций в публикациях.
  3. NumPy - это расширение языка Python, добавляющее поддержку больших многомерных массивов и матриц, вместе с большой библиотекой высокоуровневых математических функций для операций с этими массивами.
Более полный список библиотек для научных вычислений на языке Python можно найти в Википедии .

Обучение

Очень часто в качестве первого языка программирования советуют именно Python.
У некоторых российских школ есть успешный опыт обучения школьников программированию на языке Python.
Кстати, Гвидо ван Россум находился под впечатлением от языка ABC , когда писал Python. А язык ABC предназначался для обучения и прототипирования.

Критика языка Python

Python один из самых медленных языков программирования

В сети Интеренет можно найти много различных тестов скорости программ, написанных на разных языках программирования. Python обычно находится в конце списков.
Обычно под Python имеют в виду CPython, эталонную реализацию языка. Существуют другие реализации языка Python, например PyPy. PyPy обгоняет по скорости CPython и многие другие скриптовые языки программирования, очень близок по скорости к Java. Но есть одна проблема - в PyPy не полностью реализован язык Python, из-за этого многие Python-программы на нем не работают.
Многие программисты пишут вставки на C/C++, чтобы ускорить работу в узких местах. Python не предназначен для вычислительных задач, для задач, которые требуют много памяти (memory bound) и подобного. Нужно уметь выбирать подходящие инструменты для стоящих перед вами задач. Гвидо ван Россум говорит об этом в интервью .

GIL мешает одновременному выполнению нескольких потоков

Global Interpreter Lock не позволяет нескольким потокам Python выполняться одновременно. Это особенности CPython. Но недостаток ли это? Нужно понимать, что всё зависит от задачи. Если ваша задача зависит от скорости ввода-вывода (IO bound task), то эффективнее использовать несколько процессов, которые будут работать в асинхронном режиме с внешними ресурсами. А потоки с общей памятью хороши для вычислительных задач (CPU-bound). Но даже если вам нужна работа с потоками, то можно отключить GIL на время, так как это сделано в математическом пакет NumPy.

Нет хороших инструментов для дистрибуции

К сожалению код на Python, который имеет множество зависимостей от системных библиотек, сложно перенести на другие системы. Эту задачу решают с помощью virtualenv. но этот инструмент очень много критикуют системные администраторы.

Дополнительная информация

Python Success Stories
You Used Python to Write WHAT?
What is Python Used For?
More proof that it"s Python"s world and we"re just living in it
AVERAGE SALARY FOR JOBS REQUIRING PYTHON
List of Python software

Существует множество областей применения Python, но в некоторых он особенно хорош. Разбираемся, что же можно делать на этом ЯП.

Основные отличия:

  • Flask обеспечивает простоту, гибкость и полный контроль над проектом. Он позволяет пользователю самостоятельно решать, как реализовывать те или иные вещи.
  • Django – это сервис типа «все включено». Из коробки в нем уже есть админ-панель, интерфейсы баз данных, ORM (объектно-реляционное отображение) и структура каталогов для ваших проектов.

Что выбрать?

  • Выбирайте Flask, если хотите получить больше опыта и возможностей для обучения. Или в том случае, если вам нужен максимальный контроль над всеми используемыми компонентами, например, базами данных.
  • Выбирайте Django, если вас интересует конечный продукт. Особенно, если вы работаете с простыми приложениями, такими как новостной сайт, магазин, блог, и хотите, чтобы каждая задача решалась одним предельно ясным способом.

Другими словами, Flask – это, возможно, лучший выбор для начинающего разработчика, так как он содержит меньше компонентов. Кроме того, его стоит выбрать, если необходима тонкая настройка проекта.

Flask из-за своей гибкости лучше подходит для создания REST API .

С другой стороны, если стоит задача сделать что-то просто и быстро, вероятно, стоит выбрать Django.

Data Science: машинное обучение, анализ данных и визуализация

Прежде всего, следует разобраться, что такое .

Предположим, что вы хотите разработать программу, которая будет автоматически определять, что изображено на картинке.

Например, предлагая ей это изображение, вы хотите, чтобы программа опознала собаку.

А здесь она должна увидеть стол.

Возможно, вы думаете, что для решения этой задачи можно просто написать код анализа изображения. Например, если на картинке много светло-коричневых пикселей, делаем вывод, что это собака.

Или вы можете научиться определять на изображении края и границы. Тогда картинка с большим количеством прямых границ, вероятно, окажется столом.

Однако это довольно сложный и непродуманный подход. Что делать, если на фотографии изображена белая собака без коричневых пятен? Или если на картинке круглый стол?

Здесь вступает в игру машинное обучение. Обычно оно реализует некоторый , который позволяет автоматически обнаруживать знакомый шаблон среди входных данных.

Вы можете предложить алгоритму машинного обучения, скажем, 1000 изображений собаки и 1000 снимков столов. Он выучит разницу между этими объектами. Затем, когда вы дадите ему новую картинку со столом или собакой, он сможет определить, что именно на ней изображено.

  • scikit-learn из коробки имеет несколько встроенных популярных алгоритмов обучения;
  • TensorFlow – это более низкоуровневая библиотека. Она позволяет создавать пользовательские алгоритмы.

Новичкам в машинном обучении лучше начать со scikit-learn. Более опытным разработчикам, которые столкнулись с проблемами эффективности, стоит присмотреться к TensorFlow.

Как изучать машинное обучение?

Настоящие аналитики, например, в Google или Microsoft, делают то же самое, только их работа более сложная и комплексная.

Они используют язык запросов SQL, чтобы извлекать данные из баз. Затем для анализа и визуализации применяются специальные инструменты, например, Mathplotlib (для Python) или D3.js (для JavaScript).

Способы применения Python для анализа и визуализации данных

Одна из самых популярных библиотек для визуализации – Mathplotlib .

Новичкам следует начинать обучение с нее по двум причинам:

  • низкий порог вхождения;
  • освоение Mathplotlib позволит в будущем быстрее разобраться в более сложных библиотеках, основанных на ней, например, seaborn .

Как изучать анализ данных на Python?

С недавних пор некоторые компании начали использовать для создания настольных приложений JavaScript. Например, десктопное приложение Slack было создано с помощью JavaScript-фреймворка Electron .

Преимущество написания настольных приложений на JavaScript заключается в том, что можно повторно использовать код веб-версии.

Python 3 или Python 2

Python 3 – это более современный и популярный выбор.

Пояснение о backend- и frontend-коде

Предположим, вы хотите сделать нечто, напоминающее Инстаграм.

Студенты Skillbox, преподаватель и разработчик рассказывают об особенностях языка и требованиях рынка.

В закладки

Материал подготовлен при поддержке

В серии публикаций студенты образовательной онлайн-платформы рассказывают о том, что подтолкнуло их к освоению новой специальности, преподаватели защищают методики, а эксперты объясняют, зачем такие специалисты вообще нужны.

Это высокоуровневый язык программирования общего назначения. Синтаксис языка минималистичен: это нужно, чтобы увеличить производительность разработчика и читаемость кода.

Python - один из самых популярных и адаптивных языков, который очень быстро развивается. Разработчики на Python всегда востребованы на рынке.

Никита Соболев - разработчик, основатель студии Wemake.services

Если владеешь любым другим языком программирования, то научиться Python будет очень просто. Это моя история - я программировал на Java, но мне внезапно понадобилось изучить Python. Проблем не было: язык простой, входной порог низкий.

У меня были собственные проекты на Java, но Python мне понравился больше. В частности, с этим языком я успеваю написать больше кода. Производительность программиста, который работает на Python, в разы выше. Поэтому наша команда полностью перешла на этот язык.

Спустя год работы с Python можно стать намного эффективнее. Для сравнения - я три года мучаюсь с языками Erlang и Elixir и всё равно многого не знаю, потому что у них есть своя специфика. С Python меньше трудностей.

Программисты со знанием Python очень сильно востребованы. Если указать в своем профиле на Github проекты с Python, у которых есть хотя бы 10–15 звездочек, то автоматически попадаешь в алгоритмы HR-специалистов, которые начинают заваливать письмами каждые два дня: сиди, выбирай и соглашайся на всё, что нравится.

Никита Соболев

Разработчик и основатель студии Wemake.services

Компаниям нужно много людей, но их просто нет в таком количестве. На рынке есть несколько подразделов Python-разработки, которые сейчас наиболее популярны - работодатели берут даже новичков. Первый - Data Science. Это направление практически полностью основано на Python. Специалистам нужна хорошая математическая подготовка и базовые знания языка.

Второй подраздел - это Scrapping. Разработчики пишут «пауков», которые ходят и собирают информацию на сайтах и используют для тех или иных целей полученные сведения. Таким специалистам нужны базовые знания программирования на Python.

Через эти два вида деятельности легко войти в сферу программирования на Python: учишь базовые понятия, находишь работу, начинаешь получать реальные деньги, подтягиваешь уровень и постепенно становишься серьезным специалистом.

Однако, естественно, есть веб-разработка, в которую достаточно сложно войти, обладая только начальными знаниями. В этой сфере установлены самые высокие требования. Но заняться веб-разработкой на Python, обладая базовыми навыками, тоже реально. Есть два варианта входа - это опенсорс и фриланс.

По моим субъективным оценкам, большая часть вакансий по-прежнему предусмотрена для программистов на Java и JavaScript. Но Python входит в тройку лидеров. Перед Python-программистом открывается много перспектив, потому что платформа достаточно разнообразная и используется для разных технологий. Карьерный рост тоже быстрый - из-за простоты языка.

Но несмотря на востребованность Python-разработчиков, серьезных специалистов достаточно мало, и их тяжело найти. Они все скрыты, потому что компании их охраняют, берегут и молятся на них: найти замену такому специалисту крайне тяжело.

Вадим Шандринов - преподаватель курса

Я программирую 30 лет. Впервые начал в восьмом классе, продолжил в институте. Именно Python-разработкой я занимаюсь с 2000 года.

Плюс этого языка программирования в том, что у него низкий порог входа для обучения. Чтобы написать примитивный небольшой код, хватит нескольких дней. Но на изучение более тонких вещей - библиотек, принципов и подходов - предстоит потратить гораздо больше времени.

Python - открытый язык, есть исходники. Программист может посмотреть, что и как делают другие разработчики. Так как язык старый, то для него написано много библиотек - на все случаи жизни.

Сейчас, как мне кажется, Python стал чересчур популярен - его начали использовать многие организации: NASA, Google, Dropbox, Instagram и другие. Подобная ситуация была с Java, который сейчас используют большие компании. Например, вся Android-разработка проходит на этом языке.

Я изучаю вакансии, которые публикуются на hh.ru: ежедневно соискателям доступно около 200 различных предложений. Рынок очень большой, специалисты сильно востребованы. Но есть провал - компаниям, как правило, нужен программист с уровнем Middle или Senior. Практически во всех вакансиях указывается опыт работы от двух–трех лет. Очень редко требуются Junior-программисты - позволить себе нанимать молодых специалистов обычно могут только большие компании вроде «Яндекса».

Поэтому Junior-программисты мучаются с поиском работы - они знают язык, у них есть проекты, но не могут трудоустроиться, несмотря на востребованность.

Я думаю, что наш курс поможет устранить этот разрыв: мы готовим специалистов со знанием не просто языка, но и того, какие есть библиотеки и фреймворки. Также собираемся организовать стажировки: приглашаем компании стать партнёрами, чтобы потом брать к себе на практику лучших.

Особенность курса в том, что обучение начинается с самых основ. Мы включили много элементов геймификации - некоторые моменты я объясняю, что называется, на пальцах. Например, с помощью мультфильмов или инсценировок.

В курсе большая визуальная составляющая - с помощью кода выводятся падающие снежинки, космические корабли и другие элементы. Это гораздо интереснее, чем просто строки в консоли.

Мы погружаем студентов в профессиональную среду с помощью использования системы контроля версий. У всех программистов это основной инструмент работы. Я взаимодействую со студентами через Git (распределённая система управления версиями): они пишут код, коммитят его, загружают на сервер, а я проверяю и оставляю комментарии.

Коммит - это комментарий разработчика, в котором описаны изменения, произошедшие в коде.

Можно сказать, что мы эмулируем профессиональную жизнь программиста. Это нужно, потому что компании при приеме на работу спрашивают не про знания систем контроля версий, а про опыт работы с ними.

Курс разбит на две части. Первая посвящена самому Python, навыкам программированиям на нем. После прохождения первой части студент понимает, подходит ему это или нет. Вторая часть курса - веб-разработка с использованием фреймворка Django. После окончания обучения студент может себя позиционировать как крепкого Junior-программиста.

Игорь, 25 лет - студент с небольшим опытом программирования на C++

Я работаю преподавателем в клубах робототехники - рассказываю детям про электронику и программирование. У меня есть высшее техническое образование, но его качество я могу назвать «никаким». Также я обладаю базовыми навыками программирования на C++.

Я регулярно читаю журналы - «Популярную механику», «Машины и механизмы» и РБК. В этих изданиях говорится о развитии ИТ-индустрии, о машинном обучении, интернете вещей, блокчейне, квантовых компьютерах и других. В этих областях часто встречается использование Python: он популярен, а область его применения широка. Можно сказать, что язык поможет залезть в большое количество разных сфер.

Мне захотелось более плотно заняться программированием, и я решил попробовать изучить Python. Искал курсы в интернете, пересмотрел разные варианты и остановился на Skillbox.

После каждого модуля есть домашнее задание - без его выполнения не получится перейти к следующей теме. Задания бывают разные. Например, один раз надо было запрограммировать текстовый симулятор жизни, в котором есть человек и коты - надо было понять, сколько животных он смог бы прокормить.

Работы преподаватели проверяют с профессиональной точки зрения, как в реальной компании: код должен не просто работать, но и быть чистым. Сначала кажется, что преподаватель придирается к мелочам, но на самом деле он досконально изучает код - это хорошо.

Игорь Сенский

Если есть какие-то вопросы и проблемные моменты, то задания отправляются на доработку. У меня получилось сдать с первого раза только начальную домашнюю работу. В конце обучения должен быть выпускной проект.

Курс дает базовые знания - он на это и рассчитан, исходя из его содержания и цены. Для людей, у которых нет навыков программирования, он, наверное, подойдет, но в какой-то момент может показаться сложным. В начале даются базовые понятия, с которыми всё просто, но для более сложных нужен определенный склад ума и опыт.

Моя основная цель - проверить, насколько мне подходит подобный формат обучения, так как я впервые в жизни записался на онлайн-курс. Если всё будет хорошо, то планирую потом найти уроки по Python-разработке с более глубоким погружением.

На мой взгляд, базовые знания, которые даёт курс, равняются опыту Junior-разработчика. Значит, можно устроиться на стажировку в ту или иную компанию.

Александра, 29 лет - студентка с опытом программирования на C++

Я занимаюсь программированием пять лет. Один из языков, который я знаю - C++. Но моя работа связана с наукой, и написание кода не стоит на первом месте в списке моих обязанностей.

В какой-то момент я заметила, что растеряла навыки программирования, так как последние годы уделяла ему очень мало времени. Решив, что забыла, как писать код, я решила поучиться чему-то новому.

Я уже долгое время была подписана на Skillbox и увидела информацию о курсе по Python-разработке. Раньше я никогда не работала с этим языком и не интересовалась им, хоть и знала о его существовании. Зря: оказалось, что это клевый и интересный язык программирования.

Александра Олейникова

Студентка

Я только недавно записалась на курс и нахожусь на начальном этапе обучения. Нам даются видеоуроки, но если есть вопросы, можно написать преподавателю. После каждой темы предусмотрены домашние задания - их преподаватель проверяет вручную и затем говорит, что исправить. Когда результат его удовлетворяет, можно перейти к следующему уроку.

В начале задания казались мне скучными, потому что курс начинается с самых основ и ориентирован на людей, которые ничего не знают о программировании. Первые домашние работы очень простые – нужно вывести какие-то значения или что-то посчитать. Но с каждым уроком задания усложняются и появляются такие, в которых можно проявить фантазию.

Мне кажется, что студентам без знаний программирования легко освоить такие темы, как переменные, циклы и условия. Но может стать тяжело, когда начнётся объектно-ориентированное программирование.

Но преподаватели заинтересованы в том, чтобы студенты всё понимали. На уроках иногда даже показывают мультфильмы, чтобы объяснять сложные моменты. Мне это, конечно, кажется смешным, но если студентам непонятно и тяжело, то такой подход может помочь.

У меня пока нет планов на использование Python на практике, потому что я не собираюсь уходить со своей работы. Я рассматривала этот курс в качестве встряски для мозга, чтобы вспомнить программирование: какой бы язык ни был, основы одинаковые, и есть, что вспомнить. Но, конечно, не хотелось бы закончить курс и совсем забыть про Python: это правда крутой язык.

Python - второй по популярности язык программирования в мире. Практический 4-х месячный курс программирования на Python с индивидуальным наставником подойдёт тем, кто хочет научиться основам программирования на универсальном, понятном и лаконичном языке.

  • Более 80 видеоуроков в 16 модулях.
  • Проверка каждого домашнего задания преподавателем.
  • Сертификат о прохождении курса.