Обучение с подкреплением: робот учится сам
Обучение с подкреплением — способ, при котором роботу не пишут правила, а дают цель и оценку за каждую попытку. На курсе робот-сумоист тренируется в симуляторе тысячи раз, а ты решаешь, за что его хвалить.
Записаться на бесплатное пробное
Что ты сделаешь
- Запустишь симулятор с рингом и роботом и посмотришь, как он действует наугад.
- Напишешь функцию награды: за что робот получает плюс, за что минус.
- Запустишь обучение на видеокарте: сотни копий робота учатся одновременно.
- Сравнишь обученного бойца с обычной программой на тех же правилах ринга.
- Разберёшь по записи боя, чему робот научился на самом деле и где он обманул твою награду.
Почему в симуляторе
Чтобы научиться, роботу нужны тысячи боёв. На столе это месяцы и сожжённые моторы, в симуляторе — одна ночь. В симуляторе есть ринг по регламенту, судья и соперники: неподвижный груз, такой же робот с обычной программой и прошлые версии обученного бойца.
Утром остаются отчёт и записи боёв. По ним видно, что получилось: робот может найти приём, о котором ты не думал, или научиться побеждать нечестно, если награда описана небрежно.
Симулятор и живой робот
Обученная в симуляторе программа на настоящем роботе ведёт себя иначе: шины скользят по-другому, датчики шумят. Перенос на живого «Титана» — открытая инженерная задача, и мы сами решаем её сейчас. На курсе ты работаешь в симуляторе и участвуешь в этом переносе; готового результата на живом роботе мы пока не обещаем.
Что нужно уметь
Уверенный Python и понимание, как робот ездит и чем он видит ринг. Курс подходит тем, кто уже занимался сумо роботов или прошёл техническое зрение.
Группа и цена
- Группа до 8 человек, занятие 1 час 45 минут, Челябинск, ул. Аношкина, д. 4.
- Цена та же, что у всех групп 12–17 лет: 9 000 ₽ за 4 посещения. Ходить можно раз или два в неделю.
- Пробное занятие бесплатное. Договор заключает родитель.
Вопросы
Что такое обучение с подкреплением простыми словами?
Робот пробует действие и получает оценку. За много попыток он запоминает, какие действия приводят к хорошей оценке. Правил «если видишь соперника — толкай» ему никто не пишет.
Нужна ли мощная видеокарта дома?
Нет. Обучение идёт на компьютерах класса и на сервере Академии.
Нужна ли высшая математика?
Нет. Хватит школьной: графики, среднее, проценты. Формулы алгоритма мы разбираем на уровне «что на входе, что на выходе и что будет, если поменять число».
Сколько стоит курс?
9 000 ₽ за 4 посещения, как в остальных группах 12–17 лет. Пробное занятие бесплатное.