Сколько арматуры нужно на фундамент: Расчет арматуры для ленточного фундамента частного дома

Если вы когда-либо видели боевик в стиле Джеймса Бонда, вы знаете основную сюжетную линию. Злой гений планирует мировое господство из своего тайного логова, высоко в горах, глубоко под океаном или на орбите в космосе. Он занят совершенствованием технологии, которая позволит ему достичь своей подлой цели. Только герой фильма может остановить его — обычно, за несколько секунд до конца.

Одной из постоянных характеристик этих фильмов является наличие миньонов.Сотни или тысячи из них, работая на своих рабочих станциях, отлаживая суперкомпьютеры, отбиваясь от вторжения солдат и подчиняясь своему боссу. И вы можете спросить себя: какова их мотивация? Зачем работать на злого, страдающего манией величия повелителя в изолированном учреждении вдали от друзей, семьи и человеческого тепла?

Босс, который никогда не хвалит ваши старания и который нападает и бредит, как сумасшедший, и который — время от времени — избавляется от сотрудника, которым он недоволен.

Конечно, страх смерти может быть существенным мотиватором.Но все же…

Создание мотивации на рабочем месте

В реальном мире менеджеры должны найти несколько менее экстремальный стиль мотивации своей рабочей силы. Существует целый ряд теорий и стилей управления, которые подчеркивают различные типы мотивации. Некоторые из них довольно формализованы — например, иерархия потребностей Маслоу, теория мотивации ожидания или теория мотивации с аналогичным названием.

Другие узнаваемы больше по стилю управления, чем по конкретной теоретической конструкции.Например, японские фирмы хорошо известны тем, что они внедрили мотивационные методы построения команды, которые заставляют компанию больше походить на американскую среднюю школу, чем на корпорацию глобального масштаба, с рутинными упражнениями в группе, песнями компании, песнопениями и приветствиями, и даже добровольными но ожидаемые массовые сессии, когда рабочий день закончен.

На другом конце спектра есть менеджеры, которые придерживаются мнения, что наличие и сохранение работы является достаточной мотивацией. Никаких специальных теорий управления или стратегий мотивации работников не требуется.От сотрудников ожидается, что они будут хорошо выполнять свою работу; забрать свою зарплату; приходите каждый день на работу — и им не нужна песня компании или дополнительная доза командного духа, чтобы все это произошло.

Конечно, есть менеджеры, которые ищут идеи о том, как сохранить и как повысить уровень мотивации сотрудников в своей рабочей силе. Теория подкрепления была одной из основных идей мотивации сотрудников. Теория подкрепления основана на использовании теорий бихевиоризма для повышения мотивации сотрудников; какое-то время это было довольно популярно, хотя его влияние, по-видимому, ослабло за последние несколько десятилетий.

Некоторые сведения о Б.Ф. Скиннере и бихевиоризме

Теория подкрепления основана на психологической области, известной как бихевиоризм, известной благодаря теоретической и экспериментальной работе профессора Гарварда Бурруса Фредерика Скиннера, чье необычное имя обычно сокращается до Б.Ф. Скиннера. Он активно занимался исследованиями бихевиоризма в Гарварде в течение 1960-х годов и продолжал писать и читать лекции до своей кончины в 1990 г. будет иметь тенденцию повторять действия, которые имеют положительные результаты, и, наоборот, поведение, которое дает отрицательные результаты, приведет к уменьшению такого поведения.Это имеет смысл. Постоянно подвергая людей положительным откликам на желаемое поведение и отрицательным откликам на нежелательные, можно было значительно повлиять на будущее поведение человека. Несмотря на простоту, концепции Скиннера привели к созреванию психологического поля бихевиоризма, которое восходит к 1901 году — когда Иван Павлов продемонстрировал, что собаки будут выделять слюну при звуке звонка, который они связывают с положительным подкреплением в виде пищи. ,

Скиннер и его коллеги разработали экспериментальную систему, известную как операционная камера кондиционирования или, более неформально, как коробка Скиннера.Животные, такие как крысы и голуби в коробке Скиннера, могут быть обучены выполнять такие задачи, как нажатие кнопки или нажатие на рычаг. Устройство в коробке Скиннера может неоднократно назначать вознаграждение, такое как вкусное угощение, или негативное последствие, такое как неприятный звук или легкий удар током. Эти оперантные кондиционирующие примеры, как Скиннер назвал своими приемами, могут влиять на поведение животных.

Поведенческие исследования быстро распространились от животных к людям. Скиннер предположил, что существует небольшая разница между человеческими и нечеловеческими организмами в плане их реакции на оперантную обусловленность.Он зашел так далеко, что отрицал, что люди обладали свободой воли — положение, которое преследовало большое противоречие. Тем не менее его работы вошли в основное русло психологических исследований.

Его работы стали частью массовой культуры, о чем свидетельствуют примеры оперантов, которые часто появляются на телевидении и в кино. Если вы помните сцену из оригинального фильма «Охотники за привидениями», где Билл Мюррей проверяет студентов на талант ESP, применяя удары током для неправильных ответов, или замечательную сцену в «Теории большого взрыва», где Шелдон предлагает шоколадки Пенни в качестве награды за изменение своего поведения — тогда вы стали свидетелями влияния Скиннера на работу в популярных СМИ.

Теория управления становится поведенческой ,

На рабочем месте у менеджеров есть широкие возможности предоставить сотрудникам как положительные, так и отрицательные последствия.Денежный бонус или вознаграждение за перерыв является очевидным примером типа положительной обратной связи, которая может стимулировать, например, дальнейшие положительные результаты.

Литература теории подкрепления довольно разнообразна с точки зрения того, как положительные и отрицательные подкрепления описываются или классифицируются. В некоторых случаях положительное подкрепление относится к любым полезным результатам за хорошо выполненную работу, в то время как отрицательное подкрепление относится к любым нежелательным последствиям для плохой работы.Другие обсуждения теории подкрепления являются более нюансированными и основаны на четырех обычно используемых категориях для описания последствий: положительное подкрепление, отрицательное подкрепление, наказание и вымирание.

Усиление через положительные последствия

Положительное усиление — это инструмент управления для поощрения желаемых результатов от ваших сотрудников. Предоставление какого-либо вознаграждения для усиления хорошего результата создает стимулы для повторения результата в будущем.

Менеджеры имеют в своем распоряжении множество инструментов для обеспечения положительного подкрепления.К ним относятся

• Денежные бонусы и награды.
• Тайм-аут награды.
• Отличная производительность.
• Награды, как медали, грамоты, значки.
• Сотрудник месяца парковочных мест.
• Участие в дискуссиях на высоком уровне.
• Повышение авторитета на работе.
• Акции.
• Поздравительное сообщение от большого босса.

В лабораторных условиях Скиннера с животными подкрепление было непрерывным и повторяющимся: нажмите правильный рычажок, когда его вам представят, и получите вознаграждение.Каждый раз. На рабочем месте такие искусственные и постоянные установки не всегда реалистичны. Положительное подкрепление часто является единовременной наградой или чем-то, что повторяется нечасто.

Подкрепление через отрицательное подкрепление

Фраза «Отрицательное подкрепление» не всегда используется для обозначения какого-либо наказания (хотя, как ни странно, отрицательное подкрепление иногда используется для обозначения именно этого). Вместо этого эта форма подкрепления является способом признания хороших результатов работы сотрудника путем устранения чего-то негативного, а не активного предоставления чего-то позитивного.

Например, работник, недавно пришедший на работу в фирму и находящийся на испытательном сроке, может выполнять свою работу достаточно хорошо, чтобы испытательный срок был отменен. Это тип негативного подкрепления: хорошие результаты поощряются путем устранения негативного аспекта работы. Аналогичным образом, сотрудник, которому необходимо ежедневно предоставлять письменные обновления о ходе выполнения важного проекта, может сказать руководству, что в настоящее время необходимы только еженедельные обновления, поскольку проект продвигается успешно.«Награда» в этом случае — менее обременительный график отчетности.

Думайте о негативном подкреплении как о попытке избавиться от головной боли. Что бы вы ни делали, чтобы уйти, вы, безусловно, готовы сделать это снова, чтобы избежать дискомфорта в будущем.

Наказание как форма подкрепления

Наказание … ну, вы в значительной степени уже знаете, что такое наказание. В теории подкрепления в контексте рабочего места наказание назначается по отношению к конкретной проблеме производительности — с ожиданием, что нежелательные результаты станут менее частыми.Работник, который опаздывает на работу, может найти меньше денег в следующей зарплате, что обеспечивает прямую финансовую мотивацию для того, чтобы этот работник приходил вовремя.

Вероятно, для менеджеров обычно меньше видов наказаний, чем для поощрительных вознаграждений. Например, не каждая ситуация менеджер-работник позволяет менеджеру закрепить зарплату. Среди типов действий, доступных в этой категории:

• Финансовые штрафы.
• Понижение.
• условно.
• Плохие отчеты о производительности.
• Государственный или частный нагоняй.

Обратите внимание, что завершение не указано в списке. Хотя это явно форма наказания, увольнение не является наказанием, которое приведет к изменению поведения работника при получении наказания. Поскольку сотрудник больше не будет на этом рабочем месте, это не приведет к видимым изменениям. Тем не менее, другие сотрудники замечают этот вид наказания, поэтому такое наказание можно рассматривать как оказывающее вторичное влияние на поведение сотрудников.

Вымирание в теории подкрепления

Хотя вымирание является, пожалуй, самой зловещей категорией в теории подкрепления, оно имеет довольно узкий и прямой смысл. Предполагается, что работник, который ведет себя нежелательно, например, нарушает порядок во время встречи, получает какую-то выгоду от этих действий. Возможно, сотрудник находит положительное подкрепление во внимании других, которое вызывает его или ее поведение. Сняв положительное подкрепление, то есть не уделяя работнику того внимания, к которому он стремится, поведение может перейти в «исчезновение».«

Теория подкрепления на современном рабочем месте»

Работа Б.Ф. Скиннера была заметной в 1960-х годах, но его концепция применения теории поведения к людям на рабочем месте в последние десятилетия не получила большого внимания или практики. Теория управления о мотивация сотрудников больше склоняется к гуманистике, подчеркивая разнообразие работников как отдельных людей, обладающих широким спектром преимуществ, которые можно привнести в офис или на завод

Точно так же гуманистические подходы признают большое разнообразие потребностей людей, интересы и желания.Менеджеры, использующие гуманистический подход, могут предложить широкие преимущества, такие как тренажерный зал, велосипедные стойки или комнаты для медитации. Это не льготы, предлагаемые отдельным сотрудникам в качестве вознаграждения за конкретную работу, и при этом они не являются льготами, в которых отдельному работнику будет отказано как форма отрицательного подкрепления.

Гуманистический подход приводит к тому, что общее восприятие на рабочем месте отличается от общего, основанного исключительно на поведенческих практиках. В настоящее время, по крайней мере, гуманизм кажется предпочтительным подходом для многих американских рабочих мест.

Укрепление Обучение Демистифицировано: Разведка против Эксплуатации в обстановке Многорукого Бандита. | Мохаммад Ашраф

Эпизод 5, демистифицируя алгоритмы разведки и эксплуатации, жадные алгоритмы, алгоритмы ε-жадности и UCB в условиях многорукого бандита.

Разведка и эксплуатация

Принятие решений в режиме онлайн предполагает фундаментальный выбор; исследование, где мы собираем больше информации, которая может привести нас к лучшим решениям в будущем или эксплуатации, где мы принимаем лучшее решение, учитывая текущую информацию.

Это происходит потому, что мы учимся в режиме онлайн. В условиях обучения с подкреплением никто не дает нам какой-то пакет данных, как при обучении под наблюдением. Мы собираем данные по ходу дела, и предпринимаемые нами действия влияют на данные, которые мы видим, и поэтому иногда бывает необходимо предпринять различные действия для получения новых данных.

Задача бандита с вооружением k

Рассмотрим следующую проблему обучения. Вы неоднократно сталкивались с выбором из к различных опций или действий.После каждого выбора вы получаете числовое вознаграждение, выбранное из стационарного распределения вероятностей, которое зависит от выбранного вами действия. Ваша цель — максимизировать ожидаемое общее вознаграждение за некоторый период времени, например, 1000 вариантов действий или временных шагов.

Это первоначальная форма проблемы вооруженного бандита к , названная по аналогии с игровым автоматом, за исключением того, что вместо одного у нее есть рычаги к . Каждый выбор действий похож на игру одного из рычагов игрового автомата, а награды — это выигрыши за попадание в джекпот.Благодаря повторяющимся действиям вы должны максимально увеличить свой выигрыш, концентрируя свои действия на лучших рычагах.

Каждое из действий k имеет ожидаемое или среднее вознаграждение, если выбрано это действие; давайте назовем это значением этого действия. Мы обозначаем действие, выбранное на временном шаге t , как At , а соответствующее вознаграждение — Rt. Тогда значение произвольного действия a , обозначаемого q * (a) , является ожидаемым вознаграждением, учитывая, что выбрано a :

Если бы мы знали значение каждого действия, то это было бы тривиально для решить проблему бандита с вооружением к : вы всегда выбираете действие с наибольшим значением.Мы предполагаем, что не знаем значения действия с уверенностью, хотя у нас могут быть оценки. Мы обозначаем оценочную стоимость действия и на временном шаге t как Qt (a). Мы хотели бы, чтобы Qt (a) были близки к q * (a).

Если вы поддерживаете оценки значений действия, то на любом временном шаге есть хотя бы одно действие, оценочное значение которого является наибольшим. Мы называем их жадными действиями . Когда вы выбираете одно из этих действий, мы говорим, что вы используете свои текущие знания о значениях этих действий.Если вместо этого вы выбираете одно из не жадных действий, то мы говорим, что вы исследуете, потому что это позволяет вам улучшить оценку стоимости не жадного действия. Эксплуатация — это правильная вещь, чтобы максимизировать ожидаемое вознаграждение за один шаг, но исследование может дать большее общее вознаграждение в долгосрочной перспективе, так что мы должны сделать, чтобы решить эту дилемму ?.

Сначала мы рассмотрим методы оценки значений действий и использования оценок для принятия решений о выборе действий, которые мы все вместе называем методами действия-значения.Напомним, что истинное значение действия за является средней наградой при выборе этого действия. Один естественный способ оценить это — усреднить фактически полученные вознаграждения:

Если знаменатель равен нулю, то вместо этого мы определяем Qt (a) в качестве некоторого значения по умолчанию, такого как 0. Поскольку знаменатель уходит в бесконечность, посредством закон больших чисел, Qt (a) сходится к q * (a) . Мы называем это методом средней выборки для оценки значений действия, потому что каждая оценка является средним значением выборки соответствующих вознаграждений.Конечно, это только один из способов оценки значений действий, и не обязательно лучший.

Сожаление

Вместо того, чтобы учесть сумму вознаграждения, которое мы получили, мы могли бы задать вопрос, насколько хуже мы сделали, чем лучшее, что мы могли бы сделать? Оптимальное значение В * — это лучшее, что мы могли бы сделать, если бы знали, какая машина окупилась больше всего:

Жаль, что мы далеко от В * , это потеря возможностей для одного шага в ожидание,

Общее сожаление — это общее количество возможных потерь за все временные шаги,

Мы хотим максимизировать совокупное вознаграждение, что означает, что мы хотим минимизировать общее сожаление.Полезно думать о сожалении, потому что это помогает нам понять, насколько хорошо алгоритм может сделать. Мы хотим найти алгоритмы, которые приносят сожаление каждому шагу к нулю.

Мы можем сформулировать сожаление по-другому. Рассмотрим Nt (a) — количество — как ожидаемое количество раз, когда мы выбрали действие a . Gab Δa — это разница в значении между действием a и оптимальным действием a * ,

Теперь мы можем выразить сожаление как функцию от пробелов и подсчетов,

Если мы суммируем, сколько мы потеряли каждый раз, когда мы выбирали действие и , это то же самое, что подсчитывать, сколько раз мы выбрали это действие, и умножать его на то, сколько мы потеряли каждый раз, когда выбирали это действие.

Каждый раз, когда болт огромен, то есть какая-то машина действительно ужасна, мы должны удостовериться, что мы тянем эту руку очень мало раз, тогда как если есть другая машина, у которой маленькая болванка, теперь мы хотим тянуть эту руку больше и больше. Хороший алгоритм обеспечивает малый счет для больших габов. Проблема в том, что gabs не известны, так как мы не знаем V * .

Жадный алгоритм

На этом рисунке показано общее сожаление в зависимости от временных шагов и различных алгоритмов выбора действий.Первый и самый простой способ — выбрать одно из действий с наибольшей оценочной стоимостью, то есть одно из жадных действий. Жадное действие — это единственное действие, оценочная стоимость которого самая большая. Если существует более одного жадного действия, то выбор производится среди них произвольным образом, возможно, случайным образом. Мы запишем этот метод выбора жадного действия как

, где argmax обозначает действие и , для которого следующее выражение максимизируется.Выбор жадных действий всегда использует текущие знания, чтобы максимизировать немедленное вознаграждение; он не тратит времени на выборку явно худших действий, чтобы увидеть, действительно ли они лучше. Таким образом, жадность может навсегда захватить неоптимальное действие, вызывая линейное сожаление по временным шагам.

Начальные значения действий могут также использоваться как простой способ поощрения исследования. Это называется «жадный с оптимистической инициализацией» . Предположим, что вместо установки начального значения действия на ноль, мы устанавливаем их вместо +5, учитывая, что среднее значение всех действий, например, равно 0, таким образом, начальная оценка +5 является широко оптимистичной.Мы будем предполагать, что все действительно хорошо, пока не доказано обратное.

Этот оптимизм поощряет жадный метод исследования. Какие бы действия ни были изначально выбраны, вознаграждение меньше начальных оценок; агент переключается на другие действия, будучи «разочарованным» с вознаграждением, которое он получает. В результате все действия пробуются несколько раз, прежде чем оценки значений сходятся. Система проводит значительное количество исследований, даже если жадные действия выбираются все время.Это простой трюк, который может быть достаточно эффективным для стационарных задач, то есть для задач, в которых вероятности вознаграждения не изменяются со временем. Но этот метод далеко не является общепринятым подходом к стимулированию разведки.

Если задача изменяется, создавая новую потребность в исследовании, этот метод не может помочь. Любой метод, который фокусируется на начальных условиях каким-либо особым образом, вряд ли поможет в общем нестационарном случае. Начало времени происходит только один раз, и поэтому мы не должны сосредоточиваться на нем слишком много.

Еще одна проблема, связанная с этим методом, заключается в том, что несколько неудачных сэмплов могут навсегда заблокировать оптимальные действия. Давайте предположим, что я начал с мысли, что действие a1 — лучшее. Я попробовал, мне не повезло. Я попробую это снова, мне не повезло. Теперь я могу заблокировать это действие навсегда, потому что я могу попробовать другое действие a2 , и оно оказывается лучше, и я никогда больше не исследую a1 . Таким образом, мы заканчиваем тем, что несем сожаление каждый шаг.

ε-greey Алгоритм

Простая альтернатива жадному выбору действий — вести себя жадно большую часть времени, но время от времени, скажем, с малой вероятностью ε, вместо этого выбирать случайным образом из числа всех действия с равной вероятностью, независимо от оценочных значений действия.Преимущество этого метода состоит в том, что в пределе по мере увеличения числа шагов каждое действие будет дискретизировано бесконечное число раз, что гарантирует, что все Qt (a) сходятся к q * (a) .

Алгоритм ε-жадности продолжает исследовать вечно, с вероятностью 1 — выбрать лучшее действие, с вероятностью — выбрать случайное действие. Каждый раз, когда мы исследуем случайным образом, мы очень склонны совершать ошибки и не вытягивать лучшую руку, поэтому мы продолжаем сожалеть о каждом шаге по времени.ε-жадный имеет линейное полное сожаление.

Чтобы оценить относительную эффективность жадных и ε-жадных алгоритмов, мы сравниваем их численно в наборе тестовых задач. Это набор из 2000 случайно сгенерированных k вооруженных бандитских задач с k = 10. Для каждой бандитской задачи, такой как проблема, показанная на рисунке,

Значения действия, q * (a) , , = 1,…, 10, были выбраны в соответствии с нормальным распределением со средним 0 и дисперсией 1.Затем, когда метод обучения, примененный к этой проблеме, выбрал действие В на временном шаге t , фактическое вознаграждение, Rt , было выбрано из нормального распределения со средним значением q * (At) и дисперсией 1. Эти распределения показаны серым цветом на рисунке. Мы называем этот набор тестовых заданий испытательным стендом с 10 вооружениями.

Для любого метода обучения мы можем измерить его производительность и поведение, поскольку он улучшается с опытом более 1000 временных шагов применительно к одной из проблем бандита.Это составляет одну пробежку. Повторяя это для 2000 независимых прогонов, каждый из которых имеет свою проблему с бандитом, мы получаем показатели среднего поведения алгоритма обучения.

На этом графике сравнивался жадный метод с двумя ε-жадными методами (ε = 0,01 и ε = 0,1) на испытательном стенде с 10 вооружениями. Все методы сформировали свои оценки стоимости действия, используя метод выборки среднего, упомянутый выше. Жадный метод улучшился немного быстрее, чем другие методы в самом начале, но затем выровнялся на более низком уровне.Жадный метод работал значительно хуже в долгосрочной перспективе, потому что он часто зависал при выполнении неоптимальных действий.

ε-жадные методы в конечном итоге работали лучше, потому что они продолжали исследовать и повышать свои шансы на признание лучшего действия. Метод ε = 0,1 исследовал больше и обычно находил оптимальное действие раньше, но он никогда не выбирал это действие более 91% времени. Метод ε = 0,01 улучшается медленнее, но в итоге будет работать лучше, чем ε = 0.1 метод.

Также возможно уменьшить ε с течением времени и выбрать график для уменьшения значения ε, чтобы попытаться получить лучшее из обоих миров. Распадающийся ε-жадный имеет полное логарифмическое асимптотическое сожаление.

Преимущество ε-жадности перед жадными методами зависит от задачи. Предположим, дисперсия вознаграждения была больше, скажем, 10 вместо 1. С более шумными вознаграждениями требуется больше исследований, чтобы найти оптимальное действие, и ε-жадные методы должны развиваться еще лучше по сравнению с жадным методом.С другой стороны, если отклонения вознаграждения были равны нулю, то жадный метод узнал бы истинное значение каждого действия после его попытки один раз.

Предположим, что бандитская задача была нестационарной, то есть истинные значения действий менялись со временем. В этом случае исследование необходимо даже в детерминированном случае, чтобы убедиться, что одно из не жадных действий не изменилось и не стало лучше, чем жадное. Нестационарность чаще всего встречается в обучении с подкреплением.

Даже если базовая задача является стационарной и детерминированной, агент сталкивается с набором бандитоподобных задач по решению, каждая из которых меняется со временем по мере обучения и изменения политики агента по принятию решений.

A Нижняя граница

Нижняя граница сожаления, то есть ни один алгоритм не может быть лучше, чем определенная нижняя граница. Это означает, что существует нижняя граница того, насколько хорошо мы можем справиться с сожалением. мы хотим подтолкнуть наши алгоритмы ближе и ближе к этой нижней границе.Эта нижняя граница является логарифмической по количеству временных шагов так же, как затухающий ε-жадный алгоритм.

В проблеме бандитов, производительность любого алгоритма определяется сходством между оптимальной рукой и другими руками. Легкая проблема бандита — когда у вас есть одна рука, которая явно хороша, и одна рука, которая явно плоха. Вы просто пробуете эту руку один раз, и вы получаете хороший номер, вы пробуете другой, и он дает вам плохой номер, тогда вы закончили.

Проблема с жестким бандитом — это то, где, например, первая рука — лучшая, мы пока этого не знаем.Мы пробуем каждую доступную руку. 1-я рука иногда лучше других, а иногда и плохая. На них много шума, и их очень сложно устранить. Мы совершаем много ошибок, и требуется очень много времени, чтобы понять, что 1-я рука намного лучше, чем остальные. Это случай нестационарности, как мы упоминали ранее.

Таким образом, у трудных проблем есть похожие руки с различными средствами. Мы можем описать это формально с точки зрения разницы между ними и того, насколько похожи их распределения, используя метод расхождения KL, который является мерой того, как одно распределение вероятностей отличается от другого эталонного распределения вероятностей.

Формально, это теорема, которая утверждает,

Теорема (Лай и Роббинс): Асимптотическое полное сожаление по крайней мере логарифмическое по числу шагов.

Это означает, что мы никогда не сможем добиться большего успеха, чем эта нижняя граница с точки зрения временных шагов. Это говорит нам о том, что чем больше разное оружие, тем больше будет сожаления.

Оптимизм перед лицом неопределенности

Представьте, что есть 3 разные руки. Существует распределение вероятностей по значению действия для каждой руки.Может быть, мы много раз пробовали зеленый, так что у нас есть достаточно хорошее представление о том, что означает это действие. Может быть, мы попробовали синюю пару раз, мы не совсем уверены в среднем значении, а красная промежуточная. Вопрос в том, какую руку мы должны выбрать следующей?

Оптимизм перед лицом принципа неопределенности гласит: не бери тот, который, как ты считаешь, сейчас лучший. Принять меры, которые имеют самый большой потенциал, чтобы быть лучшим. Синее действие обладает наибольшим потенциалом, чтобы иметь более высокое среднее значение.Таким образом, мы должны попробовать это и сузить распределение. По мере того как мы сужаем распределение, мы начинаем все больше и больше уверяться в том, что на самом деле является лучшим действием, пока не выберем тот, который имеет максимальное значение.

Таким образом, это способ подавить нашу неуверенность и в то же время попробовать то, что имеет наибольший потенциал для успеха.

Верхняя доверительная граница (UCB)

Требуется исследование, потому что всегда существует неопределенность в отношении точности оценок значения действия.Жадные действия — это те, которые смотрят в настоящее время, но некоторые другие действия могут быть лучше. Выбор ε-жадных действий заставляет испытывать не жадные действия, но без разбора, без предпочтения тех, которые являются почти жадными или особенно неопределенными.

Было бы лучше выбрать среди не жадных действий в зависимости от того, насколько они действительно оптимальны, принимая во внимание как максимальные их оценки, так и неопределенности в этих оценках.

Мы не просто попытаемся оценить среднее значение действия, мы будем оценивать некоторую верхнюю достоверность Ut (a) того, что мы считаем средним значением. Думайте об этом как о хвосте распределения выше. Мы оценим некоторое дополнение, некоторый бонус, который характеризует, насколько велик хвост распределения.

Вы можете думать о Ut (a) как о верхней вероятности с высокой вероятностью того, какой может быть ценность действия. Тогда мы выберем действие с самым высоким верхним значением достоверности.

Это зависит от Nt (a) , то есть от того, сколько раз было выбрано действие. Малый Nt (a) означает, что больший Ut (a) будет (оценочное значение является неопределенным). Чем больше Nt (a) , тем меньше будет Ut (a) (расчетное значение является точным). Мы будем добавлять все меньше и меньше бонусов к действиям, которые мы пробовали больше, потому что мы становимся все более и более уверенными в том, что означает это действие. В конце концов мы просто используем среднее.

Мы выбираем действие, максимизирующее UCB.Здесь максимизация превышает ценность действия, добавленную к нему верхнюю достоверность этого действия. Это помогает нам систематически осматривать пространство действий и выяснять, какое из этих действий дает нам наилучшие результаты.

Итак, как рассчитать верхнюю доверительную границу действия? Здесь мы не будем делать никаких предположений о распределении действий.

Теорема (неравенство Хеффдинга):

Это в основном говорит нам, что если у нас есть некоторые случайные переменные, мы выбираем их между [0, 1], мы продолжаем выбирать эти значения X снова и снова, мы берем эмпирический среднее значение для всех наших выборок, какова вероятность того, что мы на самом деле делаем ошибку в нашей оценке этого эмпирического среднего значения по крайней мере и .

Это верно для любого распределения, когда награды ограничены между [0,1]. Мы будем применять Неравенство Хеффдинга к наградам бандита, обусловленным выбором действия a,

. Это говорит о том, какова вероятность того, что мы ошибаемся в нашей оценке Q более чем на Ut (a) Мы собираемся использовать это, чтобы найти Ut (a) значений и установить их на соответствующую величину, чтобы гарантировать, что эта вероятность, скажем, в пределах 95%.

Мы собираемся решить для Ut (a),

, и это дает нам это верхнее значение достоверности. Что в этом хорошего, так это то, что нам не нужно ничего знать о болтовнях, нам не нужно ничего знать о вознаграждениях, за исключением того, что они ограничены. Этот термин имеет все свойства, которые мы хотим. Счетчик находится в знаменателе, то есть, когда мы выбираем вещи все больше и больше, этот бонусный термин будет сдвигаться к нулям, а для действий, которые мы не очень часто пытались, у нас будет очень большой бонусный термин.

Теперь мы хотим выбрать расписание. Мы хотим гарантировать, что мы выберем оптимальное действие по мере продолжения, мы хотим, чтобы это асимптотическое сожаление было логарифмическим по временным шагам. Таким образом, мы добавляем график к нашим значениям P, поскольку мы наблюдаем больше наград, например, мы могли бы установить P равным т, возвели в степень -4. Используя правило логарифмической мощности, «Логарифм показателя x, возведенного в степень y, в y раз больше логарифма x» ,

, в итоге мы получаем это уравнение,

. Таким образом, мы гарантируем, что мы выбрали оптимальный действие при т → ∞ .

UCB1

Это приводит к алгоритму UCB1 , который является довольно эффективным алгоритмом при настройке вооруженного бандита k .

На каждом шаге мы оцениваем значения Q , используя метод усреднения выборки, а затем добавляем бонусный термин, который зависит только от количества временных шагов t и количества раз, которое мы выбрали это действие, Nt (a) ,

Это похоже на нижнюю границу, за исключением того, что у нас нет термина KL, потому что нет никаких предположений о распределении вероятностей.

Резюме

• Жадность с оптимистической инициализацией : мы инициализируем значения действий с очень оптимистическим значением и предполагаем, что все хорошо, пока не доказано обратное. В конце мы подавляем каждое значение действия до его реалистического значения.
• Случайное исследование : ε-жадный алгоритм работает хорошо, если мы настроим его правильно. Сложность заключается в том, что если мы ошибемся, в конечном итоге может быть трудно найти оптимальное действие.
• Оптимизм перед лицом неопределенности : Мы оцениваем, насколько много мы не знаем о ценности действия, и используем это, чтобы направлять нас к действиям, которые имеют наибольший потенциал быть хорошими. Это не безопасное исследование. В промышленности исследователи и инженеры не используют этот подход, поскольку он небезопасен.
• UCB : часто этот алгоритм работает лучше, чем ε-жадный, но его труднее расширить за пределы бандитов до более общей настройки обучения подкреплению.При использовании функции приближения выбор действия UCB обычно не практичен. UCB без каких-либо знаний о проблеме, на самом деле систематически работает действительно довольно хорошо.

Не забудьте оставить ответ , выражая свои мысли, и дать моему блогу подписаться на , если вам понравился этот пост и вы хотите увидеть больше!

Предыдущие эпизоды

Ссылки

Введение Ричарда Саттона в изучение подкрепления