Армирование отмостки арматурой: Отмостка своими руками: пошаговая инструкция, описание, видео

Отмостка своими руками: пошаговая инструкция, описание, видео

Под отмосткой понимают гидроизолирующую полосу вокруг строения из любых материалов. Она является защитой для дома, поскольку является буфером между фундаментом строения и атмосферными осадками. Пренебрежение этим элементом фундамента существенно снижает срок эксплуатации здания в целом, поскольку сам фундамент оказывается незащищенным перед разрушающим воздействием влаги особенно в зимний период. Обустроить отмостку вполне можно своими руками, особенно если выбрать материалы, которые не требуют применения строительной техники при укладке.

Отмостка своими руками

Конструкция отмостки

Прежде чем браться за выполнение гидроизолирующей полосы вокруг дома своими руками, стоит ознакомиться с основными требованиями к такой конструкции:

• Ширина – эту цифру определяем по СНиПу 2.02.01-83, согласно которому сделать отмостку нужно на 20 см шире кровельного материала крыши. Если имеется водосток, то его параметры также стоит учесть, обеспечивая попадание воды на гидроизоляционный слой, а не на почву. Также СНиП рекомендуют учесть тип грунта, в среднем ширина полосы составляет 1 м, поскольку позволяет использовать ее как дорожку вокруг дома.
• Длина – соответствует периметру здания, единственным исключением становится крыльцо, которое также необходимо обойти по кромке
• Уровень заглубления – такое значение соответствует как минимум 1/2 расчетной глубины промерзания грунта, что позволяет учесть особенности региона. Данная формация находится в свободном доступе. Также учитывается наличие трубопроводов в почве – они влияют на глубину промерзания.

Если имеется водосток, то его параметры также стоит учесть

• Толщина – напрямую зависит от используемого материала, в частности, бетон заливается слоем всего в 10 см. Если подразумевается, что полоса будет служить пешеходной дорожкой либо возможен наезд транспорта, то стоит увеличить толщину до 15 см.
• Уклон – в соответствии с рекомендациями СНиП III-10-75, согласно которому он составляет от 1 до 10%. Уклон выполняется от фундамента, что позволяет исключить застой воды. При этом учитывается как количество осадков в регионе, так и тип грунта. Чем больше осадков выпадает, тем больше должен быть уклон – как минимум 3%, что позволяет преодолеть наледь в случае ее появления
• Бордюр – не несет никакой функциональной нагрузки и является исключительно декоративным элементом, правда, если вдоль полосы высажены растения с мощной поверхностной корневой системой, то он станет преградой на пути корней.
• Высота цоколя – по нормативам ограничивается нижнее значение в 50 см, если устраиваются мягкие отмостки, то высота цоколя может быть от 30 см.
• Высота над уровнем земли – должна составлять как минимум 50 мм, что позволит воде не застаиваться на краю отмостки. Лужи особенно опасны в зимнее время, поскольку при замерзании разрушают конструкцию.

Отмостка своими руками: пошаговая инструкция

Разметка

Для начала работы намечаем периметр отмостки и выкапываем траншею. Выбор глубины ямы зависит от типа почвы, но не менее 0,15-0,20 м. Что касается ширины, то она рассчитывается как ширина кровли плюс 20-30 см – это допустимый минимум. Разметку осуществляем следующим способом:
1. Вбиваем в почву колышки или металлические стержни по углам будущей траншеи
2. Устанавливаем промежуточные колышки, выдерживая принятую ширину
3. Натягиваем шнур, соединяя метки в единый периметр – эта линия станет ориентиром для выкапывания ямы.

Начиная строительство отмостки, важно определиться с видом конструкции- чаще всего ее делают из бетона, поскольку это наиболее простой и дешевый вариант. Также бетон имеет длительный срок эксплуатации и без проблем ремонтируется при необходимости. До начала работ стоит обратить внимание на погоду – она должна быть сухой и тёплой, обустройство необходимо закончить до наступления холодов.

Обустройство необходимо закончить до наступления холодов

Подготовка

Что касается подготовки места вокруг здания, то необходимо избавиться от всего мусора, валунов и выбрать ширину конструкции – отмечаем периметр крыши и прибавляем 20 см. Большая часть отмосток имеет ширину 60-100 см – это зависит как от периметра кровли, так и от назначения водонепроницаемой полосы, которая часто используется для прохода.

Размечаем край будущей полосы и вбиваем по периметру колышки.

Важно сделать гидроизоляционную ленту одинаковой ширины – только в этом случае конструкция будет иметь эстетичный вид.

Избавляемся от грунта – роем траншею глубиной 25-30 см, удаляя камни и крупные корни. Чтобы не допустить дальнейшего разрастания корневой системы растений, обрабатываем землю гербицидами, которые будут препятствовать деформации отмостки. Сделать это необходимо, в противном случае в ближайшем будущем возникнет необходимость в ремонте.

Опалубка

Чтобы выполнить опалубку, необходимо подготовить доски – достаточно стройматериалов толщиной в 20 мм. Вбиваем в грунт опорные столбики с шагом 1,5 м по периметру вырытой траншеи – они будут опорой для опалубки, именно к ним придется крепить доски для будущей формы. Доски для опалубки важно прикрепить равномерно, избегая неровностей.

Опалубка отмостки вокруг дома

Создание подушки

Закладываем подушку – самым нижним слоем должен быть слой глин с высокой степенью гидроизоляции. Следующим слоем многослойного пирога станет полоса песка – достаточно 10 см, главное, чтобы он был плотно утрамбован.

Для обеспечения необходимой плотности можно немножко смочить песок.

Далее следует слой щебня – этот материал также засыпается десятисантиметровым слоем. оптимальной породой являются мелкие камешки.

Армирование, заливка и сушка

Чтобы увеличить прочность отмостки, выполняется армирование с применением сетки или арматуры – она укладывается крест-накрест шагом в 10 см на щебенку. После этого можно заливать раствор в оснастку и оставлять на просушку.

Как сделать отмостку вокруг дома своими руками: важные этапы работ

Недостаточно просто залить бетон в опалубку, поскольку он просто треснет в ближайшую зиму. Стоит поинтересоваться у профи, как правильно залить полосу – важно соблюдать следующие нюансы:

Как выполняются компенсационные швы

Они применяются для предотвращения вспучивания и появления трещин на бетоне из-за температурного изменения объёма материала.

Чтобы обустроить такой шов, необходимо закрепить ребром обработанные антисептическим составом или просмоленные деревянные рейки.

Рейки монтируем через 2-2,5 м. Также обязательно сделать швы на углах, расположив их по диагонали.

Рейки сразу устанавливаются с обязательным уклоном, поскольку именно на них будут ориентироваться при заливке бетона. Помимо древесины в деформационных швах может находиться бутилкаучуковая лента, гидроразбухающий шнур – такие материалы также способны изменять объем и при этом негигроскопичны.

Как смешать бетонную смесь

Заливка начинается со смешивания цементного раствора. Соотношение должно учитывать марку цемента. В любом случае он должен быть не ниже чем М200.

Чтобы приготовить раствор, необходимо иметь в наличии бетономешалку, поскольку вручную обеспечить необходимую консистенцию не получится.

Замес цементного раствора для отмостки

Что касается рецептуры, то не стоит смешивать компоненты «на глаз» – в этом случае появление трещин будет неизбежно. А потому лучше сразу выдерживать необходимые пропорции, чем потом выполнять ремонт, который неизбежно удорожает стоимость отмостки.

Чтобы цементная смесь имела оптимальные показатели, то для цемента марки М400 и М500 выдерживаем следующее соотношение: на 280 кг цемента берём 840 кг строительного песка, 1400 кг щебня и 190 л чистой воды. Такой раствор достаточно сухой, но именно такой и нужен для обустройства отмостки, поскольку только такая консистенция позволит сделать необходимый уклон. Если раствор будет более жидкий, то смесь просто растечётся, обеспечивая горизонтальную плоскость.

Как производится заливка опалубки

При заливке отмостки бетоном необходимо следить, чтобы бетонная смесь равномерно заполняла всё пространство в опалубке, исключая возникновение воздушных карманов. Также не приветствуются бугорки и впадины – в них будет застаиваться вода.

Чтобы бетон распределился по опалубке равномерно, можно использовать штыкование – на практике это означает прокалывание раствора прутом, что позволяет раствор сделать отмостку равномерной по структуре.

Виды отмосток

Отмостка из щебня или гальки

Отмостка из щебня или гальки относится к мягким отмосткам – такое название они получают за счёт отсутствия твердого верхнего слоя. Такой вариант оптимален для тёплого климата, а за счёт водоотвода он вполне подходит и для местности с высоким уровнем грунтовых вод.

Отмостка вокруг дома галькой

Устройство такой конструкции не отличается сложностью: в подготовленную яму укладывается глина, песок, геотекстиль, перфорированная труба – все это засыпаем щебнем, через который без проблем проходит вода от атмосферных осадков.

Мягкую отмостку вокруг дома своими может обустроить каждый, именно поэтому она часто используется для дачных домиков. Такая система достаточно функциональна, единственным недостатком является загрязнение слоя щебня песком, в результате чего на нём начинает расти нежелательная растительность.

Отмостка из брусчатки или тротуарной плитки

Так называемая полужесткая отмостка из брусчатки или тротуарной плитки отличается надежностью, при этом ее можно выполнить своими руками без использования строительной техники.

Такая конструкция представляет собой слои глины, песка, щебня, на которые укладывается слой брусчатки – именно он является финишным покрытием.

При этом необходимо выполнить требуемый уклон, который обеспечит избавление от осадков. Брусчатку укладываем на цементный раствор, что обеспечивает хорошую сцепку камней с основанием. Для декоративного эффекта обрамляем брусчатку бордюром, а щели между камнями можно засыпать песком.

Армирование Отмостки. 🏡 Выбор Сетки для Армирования. Цены!

Одним из обязательных элементов конструкции многоэтажного здания или частного жилого строения является отмостка, оформляющаяся под наклоном для осуществления отвода дождевых вод и паводков от любого типа основания (столбчатый, ленточный, свайный, плавающий фундаменты). В дополнение это пешеходная полоса, обрамляющая территорию вокруг дома, придающая фасаду завершенный вид. 

Существует всего два вида такого основания —  бетонное и каменное. Для воплощения используется щебень, тротуарная плитка или бетонная брусчатка. Начало работ по заливке бетона должно сопровождаться четким соблюдением правил, предъявляемых и к выбору материалов, и к самой конструкции архитектурного сооружения. Ключевую задачу здесь выполняет армирование отмостки посредством арматуры, обеспечивающей надежность и долговечность. 

Стоит ли укреплять отмостку арматурой 

Несмотря на то, что некоторые фирмы отказываются при обустройстве отмостка применять арматуру, объясняя это тем, что в СНиПе этот аспект не указывается, Первая дачная компания акцентирует внимание на том, что бетонная основа представляет из себя подвижную конструкции, поэтому сетка должна применяться в обязательном порядке, особенно, если используется бетон марки М150. Таким образом существенно повышается коэффициент прочности на сжатие и разжатие основы, а вместе с тем, и уровень вандалостойкости. 

Полноценный каркас из арматурной сетки не требуется только в случае применения монолитных плит, т.к. он существенно утяжеляет и делает дороже стоимость объекта. Также не имеет смысла и применение прутковых хлыстов, уложенных вдоль постройки. Все потому, что крепежные элементы в этом случае работают исключительно на продольные механические нагрузки, но не на поперечные. 

Арматурная сетка: основные характеристики 

В качестве основных конструкционных деталей при формировании сеточного полотна используются металлические прутки, с различным диаметром. Фрагменты структурированы прутьями, что уложены перпендикулярно друг другу. В качестве крепления применены точечные сварочные швы. 

В зависимости от сложности устройства отмостка могут быть задействованы секции различных типоразмеров, отличающихся весом и диаметром ячеек: 

• мелкогабаритное штукатурное сетчатое полотно 50*50*5 мм: фрагмент весит 1,5 кг/м2; 
• 100*100*4 мм: ячейки — 10 см, вес 1-3 кг/м2; 
• 150*150*8 мм: соты – 15 см; масса зависит от диаметра прутьев – 2-4 кг/м2. 

В легком варианте применяются стержни, диаметром 3 мм, в тяжелых – 12 мм и больше. Выпускается она в карточном (листовом) или рулонном форматах. 

Прутьями могут укреплять как монолитные, так и сборные виды строительных конструкций: 

• фундамент; 
• стяжка пола; 
• применяться в качестве переходного этапа между полноценными арматурными полотнами в процессе отделки, бетонной стяжки и т.д.; 
• обустройство тротуара по периметру дома.

Такой способ позволяет воспроизводить элементы, отличающиеся стойкостью к деформированию и естественным процессам разрушения под действием осадков, подземных вод, а также перепадов температурных режимов. 

Достоинства метода 

В классическом варианте для укрепления строительного объекта применяется сетчатый материал с сотами 100*100 мм. Такой образец существенно сокращает время на работы, т.к. имеет полностью собранный остов, с точными типоразмерами. 

Выбрав метод обустройства отмостки с сеткой, конструкция приобретает следующие технические характеристики: 

• повышается коэффициент выдержки продольных и поперечных сил, вызывающих изгибающие моменты в процессе эксплуатации; 
• исключаются дополнительные работы по ручному обвязыванию материала; 
• безотходное применение; 
• распределение нагрузки воспроизводится равномерно; 
• добавочная жёсткость бетону; 
• растрескивание, деформирование и разрушение основания исключены; 
• стойкость к негативному воздействию механических и тепловых факторов.

Объединив все аспекты воедино, можно утверждать – этот способ значительно продлевает эксплуатационный срок фундамента. 

Выбор сетчатого полотна 

Армирующая конструкция разделена на несколько видов, отличающихся своими характеристиками: 

• стандартная; 
• классическая; 
• металлическая; 
• геотекстильная. 

Классическая 

Элементы проволоки в этом варианте, наваренные перпендикулярно друг на друга, а вес значительно меньше стандартного аналога. Реализуется в виде рулонов и применяется для укрепления кирпичной кладки, асфальтобетона на стоянках или в производственных помещениях, а также для обустройства, отводящей бетонной стяжки, проложенной вокруг здания. 

Стандартная 

Сеточное полотно со средним размером ячеек и стержнями, диаметром 6-7 мм, переплетенными под углом 90°. Его применяют для армирования стенок базового фундамента, стяжки каких-либо поверхностей. 

Металлическая 

Поверхностное увеличение несущей способности конструкции металлическими сегментами позволяет осуществлять качественное укрепление шпаклёвочных поверхностей, применяется при заливке цементного пола. Подобный материал незаменим при оформлении несущих бетонных стен, оснований зданий, отмосток и перекрытий. 

Применение таких образцов позволяет добиться усиления объектов или основных строительных материалов за счет следующих характеристик: 

• устойчивости к неблагоприятным атмосферным условиям; 
• температурным колебания; 
• температурным колебания; 
• повышенного коэффициента влажности; 
• воздействия различных химических составов.

В основном металлическая арматура для бетонной стяжки в процессе производства проходит этап оцинкования. Метод гальванизации обладает рядом преимуществ перед другими образцами: 

1. Более длительный срок эксплуатации. 
2. Отличные показатели противостояния наружному действию различных факторов: осадков, паводков, механических повреждений и т.д. 
3. Прочностные характеристики на высоком уровне. 
4. Исключение коррозийных образований. 
5. Простота в транспортировке. 
6. Для хранения не требуется создания особенных условий.

Геотекстильная 

Этот образец состоит из полипропилена и специальной ткани, чаще всего обтянутый резиной или геотекстилем. В основном такой материал задействуют для укрепления рыхлого грунта, а также в сейсмически опасных зонах перед укладкой асфальта.

Процесс укладки сетчатого полотна в опалубку 

Устройство отмостка начинается из сооружения опалубки. В этот период, укладывается армирующий остов. После определения места заливки бетона, на этом участке формируется разборная форма из дерева, фиксирующаяся снаружи шпильками. 

В формообразующей конструкции предусматриваются высокотемпературные швы с шагом до 2,5 мм, в том числе и в угловых соединения. Для герметизации используются деревянные бруски, размещенные на ребро. Они покрываются смолой. Также на пристенных зонах делается компенсационный шов 10-20 мм, который после заполняется рубероидом. 

При измерении верхнего края опалубки обращают внимание на наличие перепада высоты для формирования наклона. Если требуется усилить объект, применяют металлические стержни, которые забивают в цоколь здания, с шагом 70 см. 

Для распила сетки на фрагменты, величиной 1-2 метра, используется стандартный инструмент – болгарка с дисками 125-230 мм, толщиной до 2 мм. 

Секции раскладывают в опалубке с дистанцией от подушки из щебня – 20-30 мм. Таким образом арматура располагается непосредственно внутри бетонной стяжки здания. Окончание одного сегмента служит началом следующего, т.е. используется метод «внахлест». 

Для обустройства углов делаются специальные угловые сегменты. Их укладка не отличается от описанного метода. Обязательно соблюдаются правила: 

1. Металлическое полотно не располагается под отсечками. Это делается для того, чтобы прилегающие участки не вытягивались в процессе проседания. 
2. Фрагменты сетки должны быть ровными, без явных изгибов для исключения выдавливания бетона наружу.

Для удаления выпирающих прутков применяются: болгарка, крупноразмерные или гидравлические ножницы. 

При армировании отмостка соблюдается последовательность действий: изначально процесс ведется на прямых участках, после идет укладка внутренних и наружных углов. Здесь не требуется обвязка сетчатым материалом, прикрепляемым к арматуре, а ее укладка выполняется в однослойном режиме, в отличие от фундамента цоколя, где вязка воспроизводится двумя поясами. 

На следующем этапе, до верхних границ опалубки, заливается бетонная смесь. Основная задача при этом – не допустить воздушных пустот. Для этого в процессе задействуют вибратор. 

Отмостка, армированная сеткой от Первой дачной компании 

Наши специалисты помогут подобрать подходящий вид и типоразмер сеточного полотна и осуществят обустройство отмостка в самые короткие сроки, с четким соблюдением всех нормативных правил. Первоначально объект осматривает профильный сотрудник, производится анализ почвы. После этого Вы получите профессиональные рекомендации по обустройству пояса вокруг дома, с предварительным проектом-сметой. 

Этапы выполнения работ 

Стоит помнить, что отводящая конструкция выполняет не только предохранительную роль, защищая от подмывания водой фундамента и подвала, но и декоративного элемента, который придает фасаду здания завершенности. Алгоритм работы по монтажу тротуара вокруг дома выглядит таким образом: 

1. Разбивка участка под отмостку. 
2. Земельные работы. 
3. Насыпка и трамбовка щебневой подушки. 
4. Монтаж опалубка. 
5. Формирование термических швов. 
6. Заливка бетоном. 
7. Стяжка. 
8. Процесс демонтажа разборного деревянного каркаса.

Армированная отмостка: цена 

Цена формируется на основе нескольких факторов: 

• качество грунта;
• уровень грунтовых вод; 
• протяженность отмостка.

Также в прайсе учитываются затраты труда на определенные процессы, количество привлеченных сотрудников, техники и выбранные материалы. В некоторых ситуациях требуется увеличение слоя бетона, что предполагает задействование дополнительных материалов и стержней большего диаметра. На сайте можно более детально ознакомиться с ценами. 

Не забывайте, что качественная работа может быть выполнена только профессионалом. На сколько долго прослужит бетонная конструкция зависит от корректности устроя внутреннего пирога. Обращайтесь к нам сейчас, и мы выполним все необходимые работы по оформлению качественного армированного отмостка, ведь у нас самые выгодные условия!

сеткой и арматурой. Нужно ли армировать вокруг дома и как правильно сделать по СНиП?

Фундамент – основной элемент абсолютно любого здания и сооружения. Его начинают закладывать на первом этапе строительства, и именно он держит на себе все строение. Для того чтобы защитить фундамент и здание в целом от дождевых вод, паводков, предотвратить усадку, вокруг дома по всему его периметру устанавливают отмостку. Это специальная водонепроницаемая конструкция, для изготовления которой используют бетон или асфальт.

Для чего необходимо?

Отмостка является обязательным элементом конструкции фундамента. Каким бы он ни был – монолитным, ленточным или блочным, она является защитой от всевозможных агрессивных воздействий окружающей среды.

Даже несмотря на то что ни в одном нормативном акте или документе не указано, что армирование отмостки – это обязательный процесс, опытные строители все же настаивают на выполнении такого вида работ.

Конечно, фундамент, выполненный из качественного бетона очень прочный и надежный, но всем хорошо известно, что этот материал характеризуется подвижностью. Поэтому со временем конструкция начинает покрываться трещинами и рушиться.

Именно для того чтобы избежать подобных деформаций, и производят армирование отмостки. Такими действиями можно:

• в несколько раз увеличить прочностные характеристики фундамента;

• продлить срок эксплуатации как фундамента, так и здания в целом – именно поэтому специалисты утверждают, что армировать опалубку нужно вокруг здания полностью;

• максимально защитить фундамент от различных воздействий;

• при необходимости упростить выполнение ремонтных работ.

Для того чтобы уровень защиты был максимальным, безусловно, нужно правильно выбрать материал для армирования.

Чем можно армировать?

Арматурная сетка – это именно тот материал, который используется для укрепления опалубки. Сегодня на рынке представлен ее широкий выбор и ассортимент от различных производителей. Давайте более детально рассмотрим, какие виды существуют, чтобы знать, какую именно следует выбрать.

1. Обычная арматурная сетка. Очень часто ее еще называют классической. Это сваренные между собой под углом 90º проволочные пруты. Конструкция сетки довольно легкая, не создает большую нагрузку на основание фундамента. В продажу поступает в виде рулона. Чаще всего классическую арматурную сетку применяют для армирования опалубки на территории парков или промышленных зданий. Размер средний, максимальный диаметр проволочного прута 7 м.

2. Стандартная. В данном случае в процессе изготовления сетки используют пруты, диаметр которых достигает 8 мм. Они не сварены, а скручены между собой. Изделие получается более прочным и тяжелым, чем классический вариант арматурной сетки. Сфера применения такой конструкции значительно шире – ее используют также для армирования плит перекрытия и стен фундамента.

3. Металлическая. Именно этому виду чаще всего отдают предпочтение. Для металлической конструкции характерна высокая атмосферная стойкость, сопротивление агрессивному воздействию различных факторов из окружающей среды, высокая прочность и долговечность, коррозиестойкость. Благодаря тому что проволока, из которой изготавливается сетка, покрывается цинком, повышается стойкость конструкции в целом к механическим воздействиям, увеличивается прочность и уровень защиты фундамента здания.

4. Геосетка. Это ячеистая конструкция, для производства которой используется металл, полимер и ткань. Иногда ее дополнительно обрабатывают геотекстилем или каучуком. Геосетку применяют для армирования опалубки, но очень редко. Она не отличается высокими техническими показателями и свойствами.

Расчет материалов

При армировании отмостки сетку нужно обязательно укладывать по всему периметру здания, и желательно армировать фундамент со всех сторон. Именно так можно достичь максимально результата.

Для того чтобы правильно рассчитать и купить необходимое количество арматурной сетки, нужно просто применить несколько математических формул. Необходимо знать такие параметры, как длина, ширина и высота фундамента. Далее нужно определиться с видом арматурной сетки, которую планируете использовать, и размерами ее ячеек.

Если у вас возникают сомнения, проконсультируйтесь со специалистом в том же строительном магазине, где будете покупать материал.

Пошаговая инструкция

Существуют определенные правила и требования, которые предусмотрены нормативными строительными документами, такими как ГОСТ и СНиП, к укладке арматурной сетки на опалубку.

Согласно этим нормам, монтируя арматурный каркас, нужно следовать технологии:

• первым делом – монтаж самой опалубки;

• установка температурных швов на опалубке на расстоянии, не превышающем 2,5 метра;

• герметизация температурных швов;

• монтаж арматурной сетки – армирование – производится непосредственно на саму опалубку;

• после того как арматурная сетка уложена, ее заливают бетонным раствором.

Если в процессе армирования используется не цельная сетка, а пруты, они должны укладываться на расстоянии примерно 70 см друг от друга. Но все зависит от того, насколько вы хотите усилить фундамент и от назначения здания.

Если все выполнить правильно, согласно всем требованиям, опалубка, а значит, и фундамент, будут надежно защищены.

Полезные советы

Очень часто у неопытных строителей могут возникать различные вопросы в процессе армирования опалубки. В данном случае нужно прислушаться к полезным советам, которыми так часто делятся уже опытные строители-монтажники. Вот несколько из них.

• Для того чтобы максимально усилить конструкцию, забейте в цоколь здания на расстоянии 70 см друг от друга арматурные штыри.

• Укладка арматуры должна производиться в один слой.

• Все арматурные прутья должны быть ровными. Это обязательное условие для того, чтобы бетон, который будет заливаться сверху, ложился ровно, и на нем не появились пузырьки воздуха.

• Будьте последовательны. Для начала нужно заняться армированием прямых участков, и только после этого усиливать углы.

​​Сегодня с целью сэкономить некоторые умельцы принимают решение не покупать уже готовую арматурную сетку, а изготовить ее самостоятельно из тех металлических прутьев или проволоки, которые имеются под рукой. Но специалисты категорически не рекомендуют так поступать.

Материал, который будет использован, может быть с дефектом, различаться по диаметру.

Из-за этого сетка ляжет неровно, а бетонный раствор в некоторых местах просядет или же будет выпирать. За счет этого нарушится герметизация и целостность конструкции.

What is, Algorithms, Applications, Example

• Home

• Testing

  • • Back
    • Agile Testing
    • BugZilla
    • Cucumber
    • Database Testing
    • J20003 Тестирование базы данных ETL
    • Назад
    • JUnit
    • LoadRunner
    • Ручное тестирование
    • Мобильное тестирование
    • Mantis
    • Почтальон
    • QTP
    • Назад
    • Центр качества (ALM)
    • Центр качества (ALM)
    • Управление тестированием
    • TestLink

• SAP

  • • Назад
    • ABAP
    • APO
    • Начинающий
    • Basis
    • BODS
    • BI
    • BPC
    • CO
    • Назад
    • CRM
    • Crystal Reports
    • QM4000
    • QM4
    • Заработная плата
    • Назад
    • PI / PO
    • PP
    • SD
    • SAPUI5
    • Безопасность
    • Менеджер решений
    • Successfactors
    • Учебники SAP
  • Apache
    • AngularJS
    • ASP.Net
    • C
    • C #
    • C ++
    • CodeIgniter
    • СУБД
    • JavaScript
    • Назад
    • Java
    • JSP
    • Kotlin
    • Linux
    • Linux
    • Kotlin
    • Linux
    js
    • Perl
    • Назад
    • PHP
    • PL / SQL
    • PostgreSQL
    • Python
    • ReactJS
    • Ruby & Rails
    • Scala
    • SQL
    000
    • SQL
    000
    • SQL
    0000003 SQL000
    • UML
    • VB.Net
    • VBScript
    • Веб-службы
    • WPF

  • Обязательно учите!

    • • Назад
      • Бухгалтерский учет
      • Алгоритмы
      • Android
      • Блокчейн
      • Бизнес-аналитик
      • Создание веб-сайта
      • Облачные вычисления
      • COBOL
      • 000 Назад
      000 927
      • 0003 Компилятор
      000 900 900 Дизайн 900 900

      Надежность обучения с подкреплением — Microsoft Research

      Обучение с подкреплением (RL), во многом схожее с масштабированием скалы высотой 3000 футов, — это обучение принятию последовательных решений.Список потенциальных приложений RL обширен и охватывает робототехнику (управление дронами), диалоговые системы (персональные помощники, автоматизированные центры обработки вызовов), игровую индустрию (неигровые персонажи, компьютерный ИИ), дизайн лечения (фармацевтические тесты, управление урожаем), управление сложными системами (для распределения ресурсов, оптимизации потоков) и т. д.

      Некоторые достижения RL весьма убедительны. Например, команда RL Стэнфордского университета научилась управлять вертолетом уменьшенной модели и даже изучила на нем новый высший пилотаж.Orange Labs развернула первую коммерческую диалоговую систему, оптимизированную с помощью RL. DeepMind изобрел DQN, первый алгоритм глубокого RL, способный играть в игры Atari на уровне навыков человека с использованием визуальных входов, и смог обучить ИИ Го, играя им исключительно против себя. Он непобежден в своих матчах го против игроков-людей.

      Несмотря на такие замечательные достижения, применение RL к большинству реальных сценариев остается проблемой. На это есть несколько причин. Алгоритмы глубокого RL неэффективны по выборке; им требуются миллиарды образцов для получения результатов, а извлечение такого астрономического количества образцов в реальных приложениях невозможно.RL также не справляется с моральными ограничениями; алгоритмы должны быть безопасными. Они должны уметь учиться в реальных ситуациях, не рискуя жизнями или оборудованием. Алгоритмы RL также должны быть честными; они должны гарантировать, что они не дискриминируют людей. Наконец, алгоритмы должны быть надежными и обеспечивать стабильно стабильные результаты.

      Это сообщение в блоге посвящено надежности обучения с подкреплением. Алгоритмы глубокого RL впечатляют, но только когда они работают.На самом деле они во многом ненадежны. Хуже того, два прогона с разными случайными начальными числами могут дать очень разные результаты из-за стохастичности процесса обучения с подкреплением. Мы предлагаем два способа смягчить это.

      Выбор алгоритма

      Первая идея (опубликованная в прошлом году на ICLR) довольно проста. Если один алгоритм ненадежен, мы обучаем несколько из них и используем лучший. На рисунке 1 показан процесс алгоритмического выбора. В начале каждой серии селектор алгоритмов выбирает алгоритм из портфолио.Выбранный алгоритм выводит политику, которая будет использоваться на протяжении всего последующего эпизода. Затем в зеленой зоне проходит стандартный цикл RL до завершения эпизода. Сгенерированная траектория записывается и передается в алгоритмы дальнейшего обучения. Показатель производительности отправляется селектору алгоритмов, чтобы он выбирал наиболее подходящие алгоритмы в будущем.

      Рисунок 1: Выбор алгоритма в обучении с подкреплением.

      Предварительные эксперименты в этом исследовании проводились с использованием переговорной диалоговой игры.Ориентируясь на один конкретный портфель, наша система, обозначенная ESBAS, состояла всего из двух алгоритмов. Производительность каждого алгоритма с течением времени показана на рисунке 2. Первый алгоритм, выделенный синим цветом, постоянно генерирует одну и ту же политику с производительностью 1, а второй, выделенный красным, со временем учится. ESBAS, отмеченный зеленым цветом, демонстрирует производительность, приближающуюся к производительности лучшего алгоритма на каждом временном шаге. Действительно, в целом ESBAS имеет лучшую производительность, чем любой из двух других. Мы провели эмпирическую проверку игры для Atari под названием Q * bert.Сопоставляя несколько архитектур DQN, мы обнаружили, что наша система обеспечивает лучшую конечную производительность, чем любая отдельная архитектура сама по себе.

      Рисунок 2: Предварительные эксперименты.

      Ранее мы утверждали, что ESBAS повышает надежность алгоритмов RL, но на самом деле у него есть и другие достоинства. Первый; он допускает поэтапное обучение, предпочтительно используя алгоритм с наилучшей политикой на каждом временном шаге. Во-вторых, он позволяет использовать целевую функцию, которая не может быть реализована напрямую в качестве вознаграждения (например, позволяет обеспечить соблюдение ограничений безопасности.) В-третьих, мы наблюдаем, что совокупность политик привела к более разнообразному опыту в отношении окружающей среды (а большее разнообразие обычно приводит к более богатой информации). И, наконец, как мы наблюдали с постоянным алгоритмом, EBAS позволяет плавно переходить от базовой политики к изученной политике.

      Улучшение политики надежности

      Наша вторая попытка повысить надежность алгоритмов RL была сосредоточена на одном конкретном параметре, часто встречающемся в реальных приложениях: пакетном обучении с подкреплением.По сравнению с классической сетью, в пакетном обучении с подкреплением обучающий агент не взаимодействует напрямую с окружающей средой (см. Рис. 3). Вместо этого это базовый агент. Он фиксирован и используется для сбора данных, которые затем вводятся в алгоритм для обучения новой политики. Пакетная настройка — это ограничение, часто встречающееся в реальных сценариях. Системы диалога или видеоигры обычно устанавливаются на личных устройствах, что затрудняет частое обновление. В других условиях, таких как фармацевтические испытания или управление урожаем, временная шкала настолько велика — мы говорим о нескольких годах — что вам нужно запускать траектории параллельно, поэтому требуется использовать ту же политику.

      Рисунок 3. Процесс пакетного обучения с подкреплением.

      Классических алгоритмов RL в среднем улучшают базовый уровень. К сожалению, они не могут сделать это надежно. Надежное улучшение политики имеет решающее значение при настройке пакета, потому что, если политика плохая, она останется плохой для многих траекторий. Мы хотим, чтобы алгоритмы почти всегда улучшали базовую политику. Чтобы рассмотреть наихудшие сценарии, мы рассмотрели условное значение риска (CvaR). CvaR — это на самом деле простая концепция; это среднее из худших прогонов.Здесь запуск определяется как пакетный процесс, показанный на рисунке 3 (сбор данных и обучение политике). Таким образом, 1% -CVaR означает среднее значение производительности для 1% худших прогонов.

      Важно объяснить, почему классический RL терпит неудачу. Его единственный источник информации — это набор данных, который классические алгоритмы RL неявно или явно используют в качестве прокси для истинной среды. Но из-за стохастичности среды или приближения модельной функции прокси-сервер является неопределенным, когда доказательства ограничены набором данных.Следовательно, алгоритм обучения, который использует только набор данных для информации, имеет много белых пятен и может чрезмерно полагаться на набор данных. В результате классический RL иногда тренирует политики, которые очень плохи в реальной среде.
      И действительно, все еще хуже; Обучение с подкреплением будет искать и находить способ оптимизации целевой функции. Было показано, что он эффективен при поиске и использовании сбоев в играх, что, безусловно, интересно в этом контексте. Но в пакетной настройке вы не хотите, чтобы ваш алгоритм использовал глюки, потому что глюки, скорее всего, были придуманы из слепых пятен в ваших данных.И чем сложнее домен, тем больше у вас слепых зон. Следовательно, крайне важно убедиться, что алгоритм осторожен с слепыми пятнами.

      Мы решили эту задачу, разработав новый алгоритм под названием SPIBB (Safe Policy Improvement with Baseline Bootstrapping), который будет представлен на Международной конференции по машинному обучению 2019 года (ICML 2019). SPIBB реализует следующее правило здравого смысла при обновлении политики: если вы не знаете, что делаете, не делайте этого.Точнее, если имеется достаточно данных для поддержки изменения политики, это разрешено. В противном случае просто воспроизведите базовую политику, которая использовалась во время сбора данных. Soft-SPIBB (представленный на EWRL 2018) — это вариант той же идеи с более мягким правилом: изменение политики может быть изменено до степени, обратной измеренной неопределенности. SPIBB также адаптирован к факторизованным MDP (один представлен на AAAI 2019, а другой — на IJCAI 2019).

      Рис. 4. Контрольный тест средней производительности в грид-мире с 25 состояниями.

      Мы выполнили тест на стохастической среде gridworld всего с 25 состояниями и четырьмя действиями. В зависимости от размера набора данных, отображаемого на оси X в логарифмической шкале, мы наблюдали среднюю производительность нескольких алгоритмов в литературе (см. Рисунок 4.) Базовая производительность показана в виде черной пунктирной линии посередине. фигуры. В среднем все алгоритмы его улучшают. Мы отображаем два варианта алгоритма SPIBB: красным и фиолетовым. Оба алгоритма являются одними из лучших по среднему баллу.В частности, мы наблюдаем, что классический RL, показанный синим цветом, на удивление не улучшается с увеличением размера набора данных. Единственный алгоритм на уровне или даже лучше, чем SPIBB, — это RaMDP, выделенный голубым цветом, который имеет два недостатка: он полагается на гиперпараметр, который необходимо очень точно настроить, и он не так надежен, как алгоритмы SPIBB.

      Рисунок 5: Тест производительности 1% -CVaR на сетке с 25 состояниями.

      На рисунке 5 показана средняя производительность, но нас больше интересует надежность обученных политик.Мы измеряем 1% -CVaR и отображаем его на Рисунке 5. Мы заметили, что базовое обучение с подкреплением (синий) ненадежно. Самые надежные алгоритмы — это версии SPIBB с большим отрывом. Как упоминалось ранее, RaMDP ненадежен с небольшими наборами данных.
      Подобные результаты были получены в небольших случайных средах со случайными базовыми линиями. В исследовании также представлены формальные доказательства надежности SPIBB в конечных MDP. Наконец, исследование продемонстрировало эффективность и надежность SPIBB в более крупной задаче непрерывной навигации с использованием глубокого обучения с подкреплением с даже лучшими результатами по сравнению с другими алгоритмами.Более широкий набор результатов будет представлен на RLDM 2019.

      Я с нетерпением жду возможности продемонстрировать эти идеи и получить отзывы на ICML 2019 в конце этого месяца. А пока будьте осторожны, используйте хороший надежный карабин, чтобы подняться на вершину практики глубокого RL, и не стесняйтесь делиться своими фотографиями!

      Следующие вызовы для обучения с подкреплением

      В последние годы ИИ значительно продвинулся вперед. В частности, искусственные агенты научились классифицировать изображения и распознавать речь на почти человеческом уровне.Однако для того, чтобы искусственные агенты полностью раскрыли свой потенциал, они должны не только наблюдать, но и действовать и извлекать уроки из последствий своих действий. Изучение того, как себя вести, особенно важно, когда агент взаимодействует с людьми посредством естественного языка, из-за сложности языка и того, что у каждого человека свой стиль общения.

      Обучение с подкреплением (RL) — это область исследований, которая связана с обучением эффективному поведению на основе данных.Хотя RL существует уже как минимум 30 лет, за последние два года его популярность сильно выросла за счет последних достижений в области глубокого обучения. Например, RL сыграл решающую роль в программе DeepMind AlphaGo, которая в 2016 году обыграла топ-игроков в го. А годом ранее метод Deep Q-Network (DQN), сочетающий классический метод RL с глубокими сверточными сетями, научился играть в большое количество игр Atari 2600 на уровне выше человеческого. Эти успехи привели к тому, что MIT Technology Review включил RL в список 10 лучших технологий 2017 года.

      Несмотря на недавний успех RL, предстоит еще много работы, прежде чем он станет основным методом. В этом сообщении блога мы рассмотрим некоторые из оставшихся проблем, которые в настоящее время изучаются. Эти проблемы отражены в изучаемых областях. Текущая тенденция заключается в изучении (моделировании) трехмерной среды. Например, Microsoft Project Malmo сделал мир Minecraft доступным для исследователей, а DeepMind открыла собственный исходный код для 3D-среды.

      Эти трехмерные среды фокусируют исследования RL на таких задачах, как многозадачное обучение, обучение запоминанию и безопасное и эффективное исследование. Ниже мы обсудим эти проблемы более подробно.

      Многозадачное обучение

      Для достижения общего ИИ агент должен уметь выполнять множество различных типов задач, а не специализироваться только на одной. Рич Каруана в своей статье 1997 года описывает многозадачное обучение следующим образом:

      «Подход к индуктивной передаче, который улучшает обобщение за счет использования информации области
      , содержащейся в обучающих сигналах связанных задач, в качестве индуктивного смещения.
      Достижение многозадачного обучения в настоящее время является одной из самых сложных задач ИИ и RL в частности. В основе этой проблемы лежит масштабируемость. Для изучения 1000 различных задач не должно потребоваться в 1000 раз больше выборок или часов вычислений, чем для изучения одной отдельной задачи. Вместо этого агент ИИ должен создать библиотеку общих знаний и изучить общие навыки, которые можно использовать для решения различных задач. Эта возможность отсутствует, например, в DQN. Хотя DQN может играть в большое количество игр Atari, обучение между задачами не происходит; каждая игра изучается с нуля, что не является масштабируемым подходом.Помимо масштабируемости, ИИ, который изучает общие навыки, также может быстро адаптироваться к новым задачам, обеспечивая стабильную производительность в динамических средах.

      Учимся запоминать

      Для многих реальных задач наблюдение фиксирует только небольшую часть полного состояния среды, которое определяет наилучшее действие. В такой частично наблюдаемой среде агент должен учитывать не только текущее наблюдение, но и прошлые наблюдения, чтобы определить наилучшее действие.

      Например, рассмотрим интеллектуального агента на рабочем месте, который помогает сотруднику службы поддержки компании выполнять действия, помогающие решить проблему клиента. Сотрудник-человек может спросить клиента о проблеме с выставлением счетов. У этого покупателя может быть домашний телефон, мобильный телефон и учетная запись в Интернете. Если человек спрашивает: «Каков непогашенный остаток на счете?» агент должен запомнить ход разговора, чтобы понять, к какой учетной записи относится этот человек.

      Однако запоминание всего во время разговора делает невозможным изучение хорошей политики.Когда люди говорят, мы переходим от темы к теме, меняя тему и снова зацикливаясь. Некоторая информация очень важна, тогда как другая информация более косвенная. Следовательно, задача состоит в том, чтобы изучить компактное представление, в котором хранится только самая важная информация.

      Безопасная и эффективная разведка

      Еще одна проблема — разведка. RL основан на методе проб и ошибок, в котором пробуются различные (комбинации) действий, чтобы найти последовательность действий, которая дает наибольшее общее вознаграждение.Однако здесь возникают две фундаментальные проблемы. Первая проблема связана с безопасностью. Рассмотрим агента ИИ, который должен научиться водить машину в реальном мире. В этом случае агент ИИ не может просто пробовать действия наугад, поскольку это приведет к катастрофическим результатам. Чтобы научиться водить машину, нужно пробовать то, чего раньше не делал, но в то же время нужно быть очень осторожным, потому что действия имеют реальные последствия.

      Но даже в симуляторе, где действия можно безопасно исследовать, эффективное исследование остается проблемой.В сложных задачах с редким вознаграждением для агента RL, который учится с нуля, может быть почти невозможно наткнуться на вознаграждение. Рассмотрим сборочного робота, у которого есть доступ ко всем различным частям, из которых состоит автомобиль, и который должен научиться собирать автомобиль. Вероятность того, что при случайном поведении он поместит все части точно в нужное место и получит положительную награду, ничтожна.

      Чтобы решить такие проблемы, исследователи изучали такие концепции, как имитационное обучение, внутренняя мотивация и иерархическое обучение.С помощью имитационного обучения человек демонстрирует хорошее поведение, а агент пытается имитировать это и потенциально улучшить его. Внутренняя мотивация основана на представлении о том, что поведение является не только результатом внешнего вознаграждения, но и определяется внутренними желаниями. Например, люди могут попробовать что-то просто из любопытства. Задача состоит в том, чтобы найти внутренние драйверы, которые в конечном итоге будут двигать агента к внешнему вознаграждению. Иерархическое обучение разбивает задачу на более мелкие, более простые для изучения подзадачи.

      Обучение с подкреплением в лаборатории Монреаля

      В Microsoft Research Montreal мы работаем над этими грандиозными проблемами RL, а также над дополнительными проблемами, которые характерны только для работы с языком. Например, в нашем исследовании памяти в диалоговых системах мы предлагаем концепцию фреймов, собирая предпочтения в наборах во время разговора, а затем анализируя весь разговор при принятии решений. В другом исследовании мы обобщили иерархическую структуру, чтобы учесть большее разнообразие декомпозиций.

      Для получения более подробной информации ознакомьтесь с некоторыми из опубликованных нами статей и недавних выступлений. Мы приглашаем вас ознакомиться с нашими карьерными возможностями.

      Обучение с подкреплением 101. Изучите основы подкрепления… | by Shweta Bhatt

      Обучение с подкреплением (RL) — одна из самых актуальных тем исследований в области современного искусственного интеллекта, и ее популярность только растет. Давайте рассмотрим 5 полезных вещей, которые нужно знать, чтобы начать работу с RL.

      Обучение с подкреплением (RL) — это метод машинного обучения, который позволяет агенту учиться в интерактивной среде методом проб и ошибок, используя обратную связь от его собственных действий и опыта.

      Хотя как контролируемое обучение, так и обучение с подкреплением используют сопоставление между вводом и выводом, в отличие от контролируемого обучения, при котором обратная связь, предоставляемая агенту, представляет собой правильный набор действий для выполнения задачи, обучение с подкреплением использует вознаграждение и наказания как сигналы положительного и отрицательное поведение.

      По сравнению с обучением без учителя, обучение с подкреплением отличается с точки зрения целей. В то время как цель обучения без учителя состоит в том, чтобы найти сходства и различия между точками данных, в случае обучения с подкреплением цель состоит в том, чтобы найти подходящую модель действий, которая максимизировала бы общую совокупную награду агента.На рисунке ниже показан цикл обратной связи «действие-вознаграждение» типовой модели RL.

      Вот некоторые ключевые термины, которые описывают основные элементы проблемы RL:

      1. Среда — Физический мир, в котором работает агент
      2. Состояние — Текущее положение агента
      3. Награда — Обратная связь от среда
      4. Политика — Метод сопоставления состояния агента с действиями
      5. Значение — Будущее вознаграждение, которое агент получит, выполняя действие в определенном состоянии

      Проблему RL лучше всего объяснить с помощью игр.Давайте возьмем игру PacMan , где цель агента (PacMan) состоит в том, чтобы съесть еду в решетке, избегая при этом призраков на своем пути. В этом случае сеточный мир — это интерактивная среда для агента, в которой он действует. Агент получает награду за поедание еды и наказание, если его убивает призрак (проигрывает игру). Состояния — это местоположение агента в мире сетки, а общая совокупная награда — это агент, выигравший игру.

      Чтобы построить оптимальную политику, агент сталкивается с дилеммой изучения новых состояний, одновременно максимизируя свое общее вознаграждение.Это называется компромиссом между и эксплуатацией . Чтобы сбалансировать и то, и другое, лучшая общая стратегия может включать краткосрочные жертвы. Таким образом, агент должен собрать достаточно информации, чтобы принять наилучшее общее решение в будущем.

      Марковские процессы принятия решений (MDP) — это математические основы для описания среды в RL, и почти все задачи RL могут быть сформулированы с использованием MDP. MDP состоит из набора конечных состояний S среды, набора возможных действий A (s) в каждом состоянии, действительной функции вознаграждения R (s) и модели перехода P (s ’, s | a).Однако в реальных условиях окружающей среды, скорее всего, не хватает каких-либо предварительных знаний о динамике окружающей среды. В таких случаях пригодятся безмодельные методы RL.

      Q-Learning — это обычно используемый безмодельный подход, который можно использовать для создания самовоспроизводящегося агента PacMan. Он вращается вокруг понятия обновления значений Q, которое обозначает значение выполнения действия a в состоянии s . Следующее правило обновления значения является ядром алгоритма Q-обучения.

      Вот видео-демонстрация агента PacMan, который использует глубокое обучение с подкреплением.

      Q-Learning и SARSA (State-Action-Reward-State-Action) — два обычно используемых алгоритма RL без моделей. Они различаются своими стратегиями разведки, в то время как их стратегии эксплуатации схожи. В то время как Q-обучение — это метод вне политики, в котором агент изучает значение на основе действия a *, полученного из другой политики, SARSA — это метод на основе политики, при котором он изучает значение на основе своего текущего действия a , полученного из его текущая политика.Эти два метода просты в реализации, но им не хватает универсальности, поскольку они не позволяют оценивать значения для невидимых состояний.

      Это можно преодолеть с помощью более продвинутых алгоритмов, таких как Deep Q-Networks (DQNs) , которые используют нейронные сети для оценки Q-значений. Но DQN могут обрабатывать только дискретные низкоразмерные пространства действий.

      Глубокий детерминированный градиент политики (DDPG) — это не связанный с политикой алгоритм, не связанный с политикой, критикующий субъект, который решает эту проблему путем изучения политик в многомерных пространствах непрерывных действий.На рисунке ниже представлена ​​архитектура «актер-критик» .

      Поскольку RL требует большого количества данных, поэтому он наиболее применим в областях, где смоделированные данные легко доступны, например, игровой процесс, робототехника.

      1. RL довольно широко используется при создании ИИ для компьютерных игр. AlphaGo Zero — первая компьютерная программа, победившая чемпиона мира в древней китайской игре го. Другие включают игры ATARI, нарды и т. Д.
      2. В робототехнике и промышленной автоматизации RL используется для того, чтобы робот мог создать для себя эффективную адаптивную систему управления, которая учится на собственном опыте и поведении.Работа DeepMind над Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Policy update — хороший тому пример. Посмотрите это интересное демонстрационное видео.

      Другие приложения RL включают механизмы резюмирования абстрактного текста, диалоговые агенты (текст, речь), которые могут учиться на взаимодействиях с пользователем и улучшаться со временем, изучая оптимальные стратегии лечения в здравоохранении, и основанные на RL агенты для онлайн-торговли акциями.

      Для понимания основных концепций RL можно обратиться к следующим ресурсам.

      1. Обучение с подкреплением — Введение , книга отца обучения с подкреплением — Ричарда Саттона и его научного руководителя Эндрю Барто . Онлайн-черновик книги доступен здесь.
      2. Учебные материалы из Дэвид Сильвер , включая видеолекции, — отличный вводный курс по RL.
      3. Вот еще один технический учебник по RL от Pieter Abbeel и John Schulman (Open AI / Berkeley AI Research Lab).

      Чтобы приступить к созданию и тестированию агентов RL, могут быть полезны следующие ресурсы.

      1. Этот блог о том, как обучить агент нейронной сети ATARI Pong с градиентами политики из необработанных пикселей, автор Андрей Карпати поможет вам запустить и запустить свой первый агент глубокого обучения с подкреплением всего лишь на 130 строках кода Python.
      2. DeepMind Lab — это платформа с открытым исходным кодом, похожая на трехмерную игру, созданную для агентных исследований искусственного интеллекта в богатой моделируемой среде.
      3. Project Malmo — еще одна платформа для экспериментов с ИИ для поддержки фундаментальных исследований в области ИИ.
      4. OpenAI gym — это набор инструментов для создания и сравнения алгоритмов обучения с подкреплением.

      Обучение с подкреплением с Keras + OpenAI: DQN | Автор: Яш Патель

      Краткое резюме

      В прошлый раз в нашем учебнике по Keras / OpenAI мы обсудили очень простой пример применения глубокого обучения в контекстах обучения с подкреплением.В ретроспективе это был невероятный показ! Если вы посмотрите на данные обучения, то модели со случайной вероятностью обычно будут способны выполнять только 60 шагов в среднем. И все же, обучаясь на этих, казалось бы, очень посредственных данных, мы смогли «превзойти» среду (т.е. получить производительность более 200 шагов). Как это возможно?

      Мы можем почувствовать это интуитивно. Давайте представим совершенно случайный ряд, который мы использовали в качестве обучающих данных. Крайне маловероятно, что какие-либо две серии будут иметь большое перекрытие друг с другом, поскольку они генерируются совершенно случайно.Однако у есть ключевые особенности , которые являются общими для успешных испытаний, например, толкание тележки вправо, когда штанга наклонена вправо, и наоборот. Итак, обучая нашу сетевую сеть на всех этих данных испытаний, мы извлекаем общие закономерности, которые способствовали их успеху, и можем сгладить детали, которые привели к их независимым неудачам.

      При этом окружающая среда, которую мы рассматриваем на этой неделе, значительно сложнее, чем на прошлой неделе: MountainCar.

      Более сложные среды

      Несмотря на то, что кажется, что мы можем применить ту же технику, что применяли на прошлой неделе, есть одна важная особенность, которая делает это невозможным: мы не можем генерировать данные обучения. В отличие от очень простого примера Cartpole, случайные движения часто просто приводят к тому, что испытание заканчивается у нас у подножия холма. То есть у нас есть несколько испытаний, которые в итоге имеют одинаковые значения -200. Это практически бесполезно использовать в качестве обучающих данных.Представьте, что вы были в классе, где независимо от того, какие ответы вы поставили на экзамене, вы получили 0%! Как вы собираетесь извлечь уроки из этого опыта?

      Случайные вводы для среды «MountainCar-v0» не дают никаких результатов, которые стоит или полезно тренировать на

      . В соответствии с этим, мы должны найти способ постепенного улучшения предыдущих испытаний. Для этого мы используем одну из основных ступеней обучения с подкреплением: Q-обучение!

      История теории DQN

      Q-обучение (которое, кстати, ничего не означает) сосредоточено на создании «виртуальной таблицы», которая учитывает, сколько награды назначается каждому возможному действию с учетом текущего состояния окружающей среды.Давайте разберем это шаг за шагом:

      Вы можете представить себе сеть DQN как внутренне поддерживающую электронную таблицу значений каждого из возможных действий, которые могут быть предприняты с учетом текущего состояния среды.

      Что мы подразумеваем под «виртуальной таблицей»? ” Представьте, что для каждой возможной конфигурации пространства ввода у вас есть таблица, в которой назначается оценка для каждого из возможных действий, которые вы можете предпринять. Если бы это было возможно волшебным образом, вам было бы очень легко «обыграть» окружающую среду: просто выберите действие, набравшее наибольшее количество очков! Два момента, которые следует отметить об этом счете.Во-первых, эта оценка обычно называется «Q-оценкой», отсюда и происходит название всего алгоритма. Во-вторых, как и в случае с любой другой оценкой, эта оценка Q имеет значение , что не означает вне контекста их моделирования. То есть у них нет абсолютного значения , но это прекрасно, поскольку нам это нужно исключительно для сравнений.

      Зачем тогда нам нужна виртуальная таблица для каждой конфигурации ввода ? Почему у нас не может быть только одна таблица, чтобы управлять ими всеми? Причина в том, что в этом нет смысла: это было бы то же самое, что сказать, что наилучшее действие, которое следует предпринять, находясь на дне долины, — это именно то, что вы должны предпринять, когда находитесь на самой высокой точке левый уклон.

      Теперь основная проблема с тем, что я описал (поддержание виртуальной таблицы для каждой конфигурации ввода ), заключается в том, что это невозможно: у нас есть непрерывное (бесконечное) пространство ввода! Мы могли бы обойти это, дискретизируя пространство ввода, но это кажется довольно хакерским решением этой проблемы, с которым мы будем сталкиваться снова и снова в будущих ситуациях. Итак, как нам это обойти? Применяя нейронные сети к ситуации: вот откуда D в DQN!

      DQN Agent

      Итак, теперь мы свели проблему к поиску способа присвоения различных действий Q-score с учетом текущего состояния.Это ответ на очень естественный первый вопрос, на который нужно ответить при использовании любой NN: каковы входы и выходы нашей модели? Степень математики, которую вам необходимо понять для этой модели, представляет собой следующее уравнение (не волнуйтесь, мы его разберем):

      Q, как уже упоминалось, представляет собой значение, оцененное нашей моделью с учетом текущего состояния (s ) и предпринятые действия (а). Однако цель состоит в том, чтобы определить общее значение для состояния. Что я имею в виду? Общее значение равно и — немедленное вознаграждение, которое вы получите, и — ожидаемое вознаграждение, которое вы получите в будущем, находясь на этой должности.То есть мы хотим учесть тот факт, что стоимость позиции часто отражает не только ее немедленную прибыль, но и будущую прибыль, которую она дает (черт возьми, глубоко). В любом случае, мы дисконтируем будущие вознаграждения, потому что, если я сравниваю две ситуации, в которых я ожидаю получить 100 долларов, одна из двух будет в будущем, я всегда буду соглашаться на текущую сделку, поскольку положение будущей сделки может измениться между тем, когда Я заключил сделку и когда получу деньги. Гамма-фактор отражает эту остаточную стоимость для ожидаемой будущей прибыли от государства.

      Вот и все: это все математические вычисления, которые нам понадобятся! Пора действительно перейти к коду!

      Реализация агента DQN

      Сеть Deep Q основана на непрерывном обучении, а это означает, что мы не просто собираем кучу данных испытаний / обучения и вводим их в модель. Вместо этого мы создаем обучающие данные в ходе запускаемых нами испытаний и вводим в них эту информацию сразу после запуска пробной версии. Если сейчас все это кажется несколько расплывчатым, не волнуйтесь: пора взглянуть на этот код.Код в основном вращается вокруг определения класса DQN, где фактически будет реализована вся логика алгоритма, и где мы предоставляем простой набор функций для фактического обучения.

      DQN Hyperparameters

      Прежде всего, мы собираемся обсудить некоторые параметры, актуальные для DQN. Большинство из них являются стандартными для большинства реализаций нейронных сетей:

       class DQN: 
       def __init __ (self, env): 
       self.env = env 
       self.memory = deque (maxlen = 2000) 
       self.гамма = 0,95 
       self.epsilon = 1,0 
       self.epsilon_min = 0,01 
       self.epsilon_decay = 0,995 
       self.learning_rate = 0,01 
       

      Давайте рассмотрим их по очереди. Первый — это просто среда, которую мы предоставляем для удобства, когда нам нужно ссылаться на фигуры при создании нашей модели. «Память» — ключевой компонент DQN: как упоминалось ранее, испытания используются для непрерывного обучения модели. Однако вместо того, чтобы тренироваться на испытаниях по мере их поступления, мы добавляем их в память и тренируемся на случайной выборке из этой памяти.Почему это делается вместо того, чтобы просто тренироваться на последних испытаниях x в качестве нашей «выборки»? Причина несколько тонкая. Представьте, что вместо этого мы просто тренировались на самых последних испытаниях в качестве нашей выборки: в этом случае наши результаты будут учиться только на самых последних действиях, которые могут не иметь прямого отношения к будущим прогнозам. В частности, в этой среде, если бы мы двигались по правой стороне склона, обучение на самых последних испытаниях повлекло бы за собой обучение на данных, на которых вы двигались вверх по склону вправо.Но это не имело бы никакого отношения к определению того, какие действия предпринять в сценарии, с которым вы скоро столкнетесь, взбираясь на левый холм. Таким образом, взяв случайную выборку, мы не искажаем наш обучающий набор, а вместо этого в идеале узнаем о масштабировании всех сред, с которыми мы могли бы столкнуться в равной степени.

      Итак, теперь мы обсудим гиперпараметры модели: гамма, эпсилон / эпсилон-распад и скорость обучения. Первый — это коэффициент амортизации будущих вознаграждений (<1), рассмотренный в предыдущем уравнении, а последний - стандартный параметр скорости обучения, поэтому я не буду обсуждать его здесь.Второй, однако, интересный аспект RL, заслуживающий отдельного обсуждения. В любом виде обучения у нас всегда есть выбор между исследованием и эксплуатацией. Это не ограничивается информатикой или академическими науками: мы делаем это изо дня в день!

      Рассмотрите рестораны в вашем районе. Когда вы в последний раз ходили в новую? Наверное, очень давно. Это соответствует вашему переходу от разведки к эксплуатации : вместо того, чтобы пытаться найти новые и лучшие возможности, вы соглашаетесь на лучшее, что вы нашли в своем прошлом опыте, и увеличиваете свою полезность оттуда.Сравните это с тем, когда вы переехали в свой дом: в то время вы не знали, какие рестораны были хорошими или нет, и поэтому были соблазнены изучить ваши варианты. Другими словами, существует четкая тенденция к обучению: исследуйте все варианты, когда вы о них не знаете, и постепенно переходите к использованию, когда у вас сложится мнение о некоторых из них. Таким же образом мы хотим, чтобы наша модель отражала эту естественную модель обучения, и эпсилон играет эту роль.

      Эпсилон обозначает ту часть времени, которую мы посвятим исследованиям.То есть в части испытаний self.epsilon мы просто предпримем случайное действие, а не то, которое мы предсказали бы как лучшее в этом сценарии. Как уже говорилось, мы хотим делать это чаще, чем не вначале, прежде чем мы сформируем стабилизирующие оценки по этому вопросу, и поэтому инициализируем эпсилон близким к 1.0 в начале и уменьшаем его на некоторую долю <1 на каждом последующем временном шаге.

      Модели DQN

      Был один ключевой момент, который был исключен при инициализации DQN выше: фактическая модель, используемая для прогнозов! Как и в нашем оригинальном руководстве по Keras RL, нам напрямую предоставляются входные и выходные данные в виде числовых векторов.Таким образом, нет необходимости использовать в нашей сети более сложные уровни, кроме полносвязных. В частности, мы определяем нашу модель так:

       def create_model (self): 
       model = Sequential () 
       state_shape = self.env.observation_space.shape 
       model.add (Dense (24, input_dim = state_shape [0], 
       Activation = "relu")) 
       model.add (Dense (48, activate = "relu")) 
       model.add (Dense (24, Activation = "relu")) 
       model.add (Dense (self.env. action_space.n)) 
       model.compile (loss = "mean_squared_error", 
       optimizer = Adam (lr = self.Learning_rate)) 
       return model 

      И используйте это для определения модели и целевой модели (объяснено ниже):

       def __init __ (self, env): 
       self.env = env 
       self.memory = deque (maxlen = 2000) 
       self.gamma = 0.95 
       self.epsilon = 1.0 
       self.epsilon_min = 0.01 
       self.epsilon_decay = 0.995 
       self.learning_rate = 0.01 
       self.tau = .05 
       self.model = self.create_model () 
       # " hack », реализованный DeepMind для улучшения сходимости 
       сам.target_model = self.create_model () 

      Тот факт, что существует две отдельных моделей , одна для прогнозирования, а другая для отслеживания «целевых значений», определенно противоречит интуиции. Чтобы быть точным, роль модели ( self.model ) состоит в том, чтобы делать фактические прогнозы относительно того, какое действие следует предпринять, а целевая модель ( self.target_model ) отслеживает, какое действие мы хотим, чтобы наша модель выполняла. .

      Почему бы просто не иметь единственную модель, которая поддерживает и то, и другое? В конце концов, если что-то предсказывает действия, которые необходимо предпринять, не должно ли это косвенно определять, какую модель мы хотим, чтобы наша модель приняла ? На самом деле это одна из тех «странных уловок» в глубоком обучении, которые DeepMind разработал, чтобы добиться конвергенции в алгоритме DQN.Если вы используете одну модель, она может (и часто это делает) сходиться в простых средах (таких как CartPole). Но причина того, что она не сходится в этих более сложных средах, заключается в том, как мы обучаем модель: как упоминалось ранее, мы обучаем ее «на лету».

      В результате мы проводим обучение на каждом временном шаге, и, если бы мы использовали одну сеть, также существенно изменили бы «цель» на каждом временном шаге. Подумайте, насколько это запутанно! Это как если бы учитель сказал вам закончить стр.6 в вашем учебнике, и, когда вы закончили половину, она изменила его на стр. 9, и к тому времени, когда вы закончили половину этого, она сказала вам сделать стр. 21! Это, следовательно, вызывает отсутствие сходимости из-за отсутствия четкого направления использования оптимизатора, то есть градиенты меняются слишком быстро для стабильной сходимости. Итак, чтобы компенсировать это, у нас есть сеть, которая меняется медленнее и отслеживает нашу конечную цель, и сеть, которая пытается ее достичь.

      Обучение DQN

      Обучение включает три основных этапа: запоминание, обучение и переориентацию целей.Первый — это просто добавление в память по мере прохождения дополнительных испытаний:

       def помнить (self, state, action, reward, new_state, done): 
       self.memory.append ([state, action, reward, new_state, done]) 

      Здесь особо нечего примечать, кроме того, что мы должны сохранить фазу done для того, как мы позже обновим функцию вознаграждения. Переходя к основной части нашего DQN, у нас есть функция train. Здесь мы используем нашу сохраненную память и активно учимся на том, что видели в прошлом.Мы начинаем с взятия образца из всей нашей памяти. Оттуда мы обрабатываем каждый образец по-разному. Как мы видели в уравнении ранее, мы хотим обновить функцию Q как как сумму текущего вознаграждения и ожидаемых будущих вознаграждений (обесцениваемых по гамме). В случае, если мы находимся в конце испытаний, таких будущих наград нет, поэтому вся ценность этого состояния — это просто текущая награда, которую мы получили. Однако в нетерминальном состоянии мы хотим увидеть, какое максимальное вознаграждение мы получили бы, если бы смогли предпринять любое возможное действие, из чего мы получаем:

       def replay (self): 
       batch_size = 32 
       если len (self.memory)  return samples = random.sample (self.memory, batch_size) 
       for sample in samples: 
       state, action, reward, new_state, done = sample 
       target = self.target_model.predict (state) 
       если done: 
       target [0] [action] = reward 
       else: 
       Q_future = max (
       self.target_model.predict (new_state) [0]) 
       target [0] [action] = reward + Q_future * self.gamma 
       self.model.fit (state, target, epochs = 1, verbose = 0) 

      И, наконец, мы должны переориентировать наши цели, где мы просто копируем веса из основной модели в целевую.Однако, в отличие от основного метода поезда, это целевое обновление вызывается реже:

       def target_train (self): 
       weights = self.model.get_weights () 
       target_weights = self.target_model.get_weights () 
       для i in range ( len (target_weights)): 
       target_weights [i] = weights [i] 
       self.target_model.set_weights (target_weights) 

      DQN Action

      Последний шаг — просто заставить DQN фактически выполнить желаемое действие, которое чередуется на основе заданного параметра epsilon между выполнением случайного действия и действием, основанным на прошлом обучении, следующим образом:

       def act (self, state): 
       self.epsilon * = self.epsilon_decay 
       self.epsilon = max (self.epsilon_min, self.epsilon) 
       if np.random.random ()  return self.env.action_space.sample () 
       return np. argmax (self.model.predict (state) [0]) 

      Обучающий агент

      Обучение агента теперь естественным образом следует из разработанного нами сложного агента. Мы должны создать его экземпляр, передать ему опыт, когда мы с ним сталкиваемся, обучить агента и обновить целевую сеть:

       def main (): 
       env = gym.make ("MountainCar-v0") 
       гамма = 0,9 
       epsilon = .95 испытаний = 100 
       trial_len = 500 updateTargetNetwork = 1000 
       dqn_agent = DQN (env = env) 
       шагов = [] 
       для пробного диапазона (испытания): 
       cur_state = env.reset (). Reshape (1,2) 
       для шага в диапазоне (trial_len): 
       action = dqn_agent.act (cur_state) 
       env.render () 
       new_state, reward, done, _ = env. шаг (действие) вознаграждение = вознаграждение, если не выполнено еще -20 
       print (вознаграждение) 
       new_state = new_state.reshape (1,2) 
       dqn_agent.запомнить (cur_state, action, 
       reward, new_state, done) 
       dqn_agent.replay () 
       dqn_agent.target_train () 
       cur_state = new_state 
      , если выполнено: 
       break 
       if step> = 199: 
       print («Не удалось завершить пробную версию ") 
       else: 
       print (" Завершено в {} испытаниях ".format (испытание)) 
       перерыв 

      Полный код

      Вместе с этим, вот полный код, используемый для обучения в среде« MountainCar-v0 » используя DQN!

      Следите за следующим руководством по Keras + OpenAI!

      Обучение с подкреплением и вознаграждениями на основе прогнозов

      Мы разработали случайную сетевую дистилляцию (RND), основанный на прогнозировании метод, побуждающий агентов обучения с подкреплением исследовать свое окружение через любопытство, которое впервые превосходит среднюю производительность человека в Мести Монтесумы.RND достигает высочайшего уровня производительности, периодически находит все 24 комнаты и решает первый уровень без использования демонстраций или доступа к основному состоянию игры.

      RND стимулирует посещение незнакомых состояний, измеряя, насколько сложно предсказать результат фиксированной случайной нейронной сети для посещенных состояний. В незнакомых состояниях сложно угадать результат, а значит, и награда высока. Его можно применить к любому алгоритму обучения с подкреплением, он прост в реализации и эффективен в масштабировании.Ниже мы выпускаем эталонную реализацию RND, которая может воспроизводить результаты из нашей статьи.

      Прочитать код PaperView

      Прогресс в мести Монтесумы

      Чтобы агент достиг желаемой цели, он должен сначала изучить, что возможно в его среде и что составляет прогресс в достижении цели. Во многих игровых сигналах о наградах предусмотрена такая учебная программа, что даже простых стратегий исследования достаточно для достижения цели игры. В основополагающей работе по внедрению DQN, Montezuma’s Revenge была единственной игрой , в которой DQN получил 0% среднего человеческого балла (4.7К) . Простые стратегии исследования вряд ли позволят собрать какие-либо награды или увидеть более нескольких из 24 комнат на уровне. С тех пор успехи в «Мести Монтесумы» многие считают синонимом достижений в исследованиях.

      Значительный прогресс был достигнут в 2016 году благодаря объединению DQN с бонусом исследования на основе подсчета, в результате чего агент, который исследовал 15 комнат, получил высокий балл 6,6 тыс. И среднее вознаграждение около 3,7 тыс. С тех пор значительное улучшение результатов, достигнутых агентом RL, было достигнуто только за счет использования доступа к демонстрациям экспертов-людей или доступа к базовому состоянию эмулятора.

      Мы провели крупномасштабный эксперимент RND с 1024 рабочими по развертыванию, в результате чего средняя доходность составила 10K за 9 прогонов , а наилучшая средняя доходность составила 14,5K. Каждый прогон обнаруживал от 20 до 22 комнат. Вдобавок один из наших менее масштабных, но более длительных экспериментов дал один прогон (из 10), который достиг наилучшей отдачи 17,5К, что соответствует прохождению первого уровня и обнаружению всех 24 комнат . График ниже сравнивает эти два эксперимента, показывая средний доход как функцию обновлений параметров.

      Визуализация ниже показывает прогресс меньшего масштаба эксперимента по обнаружению комнат. Любопытство побуждает агента открывать новые комнаты и находить способы увеличения игрового счета, и эта внешняя награда побуждает его повторно посещать эти комнаты позже во время обучения.

      Ваш браузер не поддерживает видео

      Комнаты, обнаруженные агентом, означают эпизодическое возвращение на протяжении всего обучения. Непрозрачность комнаты соответствует тому, сколько запусков из 10 обнаружили ее.

      Крупномасштабное исследование обучения, основанного на любопытстве

      Перед разработкой RND мы вместе с сотрудниками из Калифорнийского университета в Беркли исследовали обучение без каких-либо вознаграждений, зависящих от среды. Любопытство дает нам более простой способ научить агентов взаимодействовать с любой средой, а не с помощью тщательно разработанной функции вознаграждения для конкретной задачи, которая, как мы надеемся, соответствует решению задачи. Такие проекты, как ALE, Universe, Malmo, Gym, Gym Retro, Unity, DeepMind Lab, CommAI, делают большое количество смоделированных сред, доступных агенту для взаимодействия через стандартизованный интерфейс.Агент, использующий универсальную функцию вознаграждения, не зависящую от особенностей среды, может приобрести базовый уровень компетенции в широком диапазоне сред, в результате чего агент сможет определять, какие полезные модели поведения представляют собой даже при отсутствии тщательно разработанных вознаграждений.

      Чтение кода PaperView

      В стандартных настройках обучения с подкреплением на каждом дискретном временном шаге агент отправляет действие в среду, а среда в ответ передает следующее наблюдение, вознаграждение за переход и индикатор окончания эпизода.В нашей предыдущей статье мы требуем, чтобы среда выводила только следующее наблюдение. Там агент изучает модель предсказателя следующего состояния на своем опыте и использует ошибку предсказания как внутреннее вознаграждение. В результате его привлекает непредсказуемое. Например, он обнаружит, что изменение счета в игре будет вознаграждением, только если счет отображается на экране и это изменение трудно предсказать. Агент обычно находит полезными взаимодействия с новыми объектами, поскольку результаты таких взаимодействий обычно труднее предсказать, чем другие аспекты окружающей среды.

      Как и в предыдущей работе, мы пытались избежать моделирования всех аспектов окружающей среды, независимо от того, актуальны они или нет, выбирая моделирование особенностей наблюдения. Удивительно, но мы обнаружили, что даже случайных функций работали хорошо.

      Что делают любопытные агенты?

      Мы протестировали нашего агента в более чем 50 различных средах и наблюдали ряд уровней компетентности от кажущихся случайными действиями до преднамеренного взаимодействия с окружающей средой. К нашему удивлению, в некоторых средах агент достиг цели игры, даже если цель игры не была передана ему через внешнюю награду.

      Внутреннее вознаграждение в начале обучения

      Всплеск внутренней награды при первом прохождении уровня

      Breakout — Агент испытывает всплески внутреннего вознаграждения, когда видит новую конфигурацию кубиков на ранней стадии обучения и когда он впервые проходит уровень после тренировки в течение нескольких часов.

      Ваш браузер не поддерживает видео

      Pong — Мы обучили агента управлять обеими ракетками одновременно, и он научился удерживать мяч в игре, что привело к продолжительным розыгрышам.Даже будучи обученным против внутриигрового ИИ, агент пытался продлить игру, а не выиграть.

      Ваш браузер не поддерживает видео

      Боулинг — Агент научился играть в игру лучше, чем агенты, обученные напрямую максимизировать (обрезанное) внешнее вознаграждение. Мы думаем, что это связано с тем, что агента привлекает трудно предсказуемое мигание табло, которое происходит после ударов.

      Ваш браузер не поддерживает видео

      Марио — Внутренняя награда особенно хорошо согласуется с целью игры по продвижению по уровням.Агент получает вознаграждение за обнаружение новых областей, потому что детали вновь обнаруженной области невозможно предсказать. В результате агент открывает 11 уровней, находит секретные комнаты и даже побеждает боссов.

      Проблема шумного ТВ

      Подобно игроку в игровом автомате, которого привлекают случайные результаты, агент иногда попадает в ловушку из-за своего любопытства в результате проблемы с шумным телевизором. Агент находит источник случайности в окружающей среде и продолжает наблюдать за ним, всегда получая высокую внутреннюю награду за такие переходы.Пример такой ловушки — просмотр статического шума по телевизору. Мы демонстрируем это буквально, помещая агента в среду лабиринта Unity, где телевизор воспроизводит случайные каналы.

      Агент в лабиринте с шумным телевизором

      Агент в лабиринте без шумного телевизора

      В то время как проблема шумного телевидения является проблемой в теории, для в значительной степени детерминированных сред, таких как «Месть Монтесумы», мы ожидали, что любопытство заставит агента открывать комнаты и взаимодействовать с объектами.Мы попробовали несколько вариантов любопытства, основанного на предсказании следующего состояния, сочетающего бонус исследования со счетом в игре.

      В этих экспериментах агент управляет окружающей средой через шумный контроллер, который с некоторой вероятностью повторяет последнее действие вместо текущего. Эта установка с липкими действиями была предложена в качестве наилучшей практики для обучения агентов в полностью детерминированных играх, таких как Atari, для предотвращения запоминания. Липкие действия делают переход из комнаты в комнату непредсказуемым.

      Случайная сетевая дистилляция

      Поскольку прогнозирование следующего состояния по своей природе подвержено проблеме зашумленного ТВ, мы определили следующие соответствующие источники ошибок прогнозирования:

      • Фактор 1 : ошибка предсказания высока, когда предсказатель не может обобщить из ранее рассмотренных примеров. Тогда новый опыт соответствует высокой ошибке предсказания.
      • Фактор 2 : ошибка прогнозирования высока, поскольку цель прогнозирования является стохастической.
      • Фактор 3 : ошибка прогнозирования высока, потому что информация, необходимая для прогнозирования, отсутствует, или класс модели предикторов слишком ограничен, чтобы соответствовать сложности целевой функции.

      Мы определили, что Фактор 1 является полезным источником ошибок, поскольку он количественно определяет новизну опыта, тогда как Факторы 2 и 3 вызывают проблему с шумным ТВ. Чтобы избежать факторов 2 и 3, мы разработали RND, новый бонус исследования, который основан на предсказании выходных данных фиксированной и случайно инициализированной нейронной сети в следующем состоянии, учитывая само следующее состояние .

      Интуиция подсказывает, что прогнозные модели имеют низкую ошибку в состояниях, подобных тем, которым они были обучены. В частности, предсказания агентом выходных данных случайно инициализированной нейронной сети будут менее точными в новых состояниях, чем в состояниях, которые агент часто посещал. Преимущество использования задачи синтетического прогнозирования заключается в том, что мы можем сделать ее детерминированной (минуя фактор 2) и внутри класса функций, которые может представлять предиктор (минуя фактор 3), выбирая предиктор с той же архитектурой, что и целевая сеть. .Эти варианты делают RND невосприимчивым к проблеме шумного ТВ.

      Мы объединяем бонус разведки с внешними наградами с помощью варианта проксимальной оптимизации политики (PPO), который использует два заголовка значений для двух потоков вознаграждения . Это позволяет нам использовать разные ставки дисконтирования для разных вознаграждений и комбинировать эпизодические и не эпизодические доходы. Благодаря этой дополнительной гибкости, наш лучший агент часто находит 22 из 24 комнат на первом уровне в «Месть Монтесумы» и иногда проходит первый уровень после нахождения двух оставшихся комнат .Тот же метод реализуется по последнему слову техники на Venture и Gravitar.

      
      Визуализация бонуса RND ниже показывает график внутренней награды в течение эпизода Месть Монтесумы, где агент впервые находит факел.

      Вопросы реализации

      Для выбора хорошего алгоритма исследования важны такие соображения, как восприимчивость к проблеме зашумленного ТВ. Тем не менее, мы обнаружили, что получение, казалось бы, мелких деталей прямо в нашем простом алгоритме привело к различию между агентом, который никогда не покидает первую комнату, и агентом, который может пройти первый уровень.Чтобы сделать обучение более стабильным, мы избежали насыщения функциями и довели внутреннее вознаграждение до предсказуемого диапазона. Мы также заметили значительное улучшение производительности RND каждый раз, когда мы обнаруживали и исправляли ошибку (наша любимая проблема заключалась в случайном обнулении массива, в результате чего внешние возвраты рассматривались как неэпизодические; мы поняли, что это имело место только после того, как были озадачены функцией внешней ценности, выглядящей подозрительно периодической). Правильная обработка таких деталей была важной частью достижения высокой производительности даже с алгоритмами, концептуально подобными предыдущим.Это одна из причин по возможности предпочитать более простые алгоритмы.

      Будущие направления

      Мы предлагаем следующие направления дальнейших исследований:

      • Проанализируйте преимущества различных методов разведки и найдите новые способы их комбинирования.
      • Обучите любопытного агента в разных средах без вознаграждения и исследуйте переход в целевые среды с вознаграждением.
      • Исследуйте глобальные геологоразведочные работы, которые требуют согласованных решений в течение длительного периода времени.

      Если вы заинтересованы в работе над преодолением этих трудностей, обращайтесь к нам!

      .