• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part06. 모델 기반 강화학습
    • Ch 03. 최적제어와 모델기반 강화학습
      • 07. pytorch 모델 MPC 구현

2022-09-14

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part06. 모델 기반 강화학습
    • Ch 03. 최적제어와 모델기반 강화학습
      • 04. Model predictive Control (MPC)
      • 05. 최적화 맛보기
      • 06. pytorch 모델 제약조건이 있는 최적화문제
• Deep Campus
  • A2C 알고리즘-1: 크리틱 신경망
  • A2C 알고리즘-2: 액터 신경망
  • Tensorflow2로 만든 A2C 코드: Pendulum-v0

2022-09-06

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part06. 모델 기반 강화학습
    • Ch 03. 최적제어와 모델기반 강화학습
      • 02. Guided Policy Search GPS - 1
      • 03. Guided Policy Search GPS - 2
• Deep Campus
  • 2D 컨볼루션 계산하기
  • 이미지 필터 설계해 보기
  • 컨볼루션과 상관도
  • 강화학습의 한계
  • 강화학습 문제
  • 정책 그래디언트 기반 강화학습의 원리

2022-09-05

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part06. 모델 기반 강화학습
    • Ch 03. 최적제어와 모델기반 강화학습
      • 01. Differential Dynamic Programing LQR iLQR

2022-09-04

• Deep Campus
  • 컨볼루션(convolution)이란
  • LTI 시스템 - 선형
  • LTI 시스템 – 시불변
  • LTI 시스템과 컨볼루션
  • 컨볼루션 공식대로 계산하기
  • 컨볼루션 쉽게 계산하기
  • 이동평균(moving average) 필터 설계해 보기
  • 2D 컨볼루션

2022-09-02

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part06. 모델 기반 강화학습
    • Ch 02. Discrete Planning and MBRL
      • 02. 이산화된 행동공간 Planning - 2
      • 03. Differentiable simulator와 PILCO
• Deep Campus
  • [GP-1] 가우시안 프로세스 (Gaussian Process)의 개념
  • [GP-2] GP 회귀 (GP Regression)
  • [GP-3] GP 커널 학습
  • [GP-4] 베이지안 최적화 (Bayesian Optimization)

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor

2022-10-18

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part06. 모델 기반 강화학습
    • Ch 03. 최적제어와 모델기반 강화학습
      • 08. Toward solvability of neural optimization problems
    • Ch 04. 심층 모델기반 강화학습 사례 소개
      • 01. 잠재공간에서 Planning 하기 - 1
      • 02. 잠재공간에서 Planning 하기 - 2
      • 03. 잠재공간에서 Rollout 하기
    • Ch 05. 강좌 마무리
      • 01. 강화학습 강좌 마무리

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 1. Soft-actor-critic (SAC) - 2
  • Part06. 모델 기반 강화학습
    • Ch 01. 모델 기반 강화학습 소개
      • 1. 모델기반 강화학습 소개 및 Dyna
    • Ch 02. Discrete Planning and MBRL
      • 1. 이산화된 행동공간 Planning - 1

2022-08-30

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 13. The darkside of PPO
      • 14. Soft-actor-critic (SAC) - 1

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 11. Asynchrnous Advantage Actor Critic (A3C)
      • 12. Proximal Policy Optimization (PPO)

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 09. Maximization bias이 싫어요 DDQN TD3 - 1
      • 10. Maximization bias이 싫어요 DDQN TD3 - 2

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor

• 프로그래머를 위한 베이지안 with 파이썬
  • Ch 07. 베이지안 A/B 테스트
    • 7.1 서론
    • 7.2 전환율 테스트 개요
    • 7.3 선형손실함수 추가하기
    • 7.4 전환율을 넘어서: t-검정
    • 7.5 증분 추정하기
    • 7.6 결론
    • 7.7 참고자료

2022-05-30

• 프로그래머를 위한 베이지안 with 파이썬
  • Ch 06. 우선순위 바로잡기
    • 6.5 해당 분야 전문가로부터 사전확률분포 유도하기
    • 6.6 켤레 사전확률분포
    • 6.7 제프리 사전확률분포
    • 6.8 N이 증가할 때 사전확률분포의 효과
    • 6.9 결론
    • 6.10 부록
    • 6.11 참고자료

2022-05-27

• 프로그래머를 위한 베이지안 with 파이썬
  • Ch 06. 우선순위 바로잡기
    • 6.1 서론
    • 6.2 주관적인 사전확률분포 vs. 객관적인 사전확률분포
    • 6.3 알아두면 유용한 사전확률분포
    • 6.4 예제: 베이지안 MAB (Multi-Armed-Bandits)

2022-05-26

• 프로그래머를 위한 베이지안 with 파이썬
  • Ch 05. 오히려 큰 손해를 보시겠습니까?
    • 5.3 베이지안 방법을 통한 기계학습
    • 5.4 결론
    • 5.5 참고자료

2022-05-24

• 프로그래머를 위한 베이지안 with 파이썬
  • Ch 05. 오히려 큰 손해를 보시겠습니까?
    • 5.1 서론
    • 5.2 손실함수

2022-05-23

• 프로그래머를 위한 베이지안 with 파이썬
  • Ch 03. MCMC 블랙박스 열기
    • 3.1 베이지안 지형
    • 3.2 수렴 판정하기
    • 3.3 MCMC에 대한 유용한 팁
    • 3.4 결론
    • 3.5 참고자료
  • Ch 04. 아무도 알려주지 않는 위대한 이론
    • 4.1 서론
    • 4.2 큰 수의 법칙
    • 4.3 작은 수의 혼란
    • 4.4 결론
    • 4.5 부록
    • 4.6 연습문제
    • 4.7 참고자료

2022-05-20

• 프로그래머를 위한 베이지안 with 파이썬
  • Ch 02. PyMC 더 알아보기
    • 2.1 서론
    • 2.2 모델링 방법
    • 2.3 우리의 모델이 적절한가?
    • 2.4 결론
    • 2.5 부록
    • 2.6 연습문제
    • 2.7 참고자료

2022-05-19

• 프로그래머를 위한 베이지안 with 파이썬
  • Ch 01. 베이지안 추론의 철학
    • 1.1 서론
    • 1.2 베이지안 프레임워크
    • 1.3 확률분포
    • 1.4 컴퓨터를 사용하여 베이지안 추론하기
    • 1.5 결론
    • 1.6 부록
    • 1.7 연습문제
    • 1.8 참고자료

2022-05-01

• 단단한 강화학습

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor

• Google Photo 언어 확인 (영어, 한국어)
  • https://photos.google.com
• Google Chrome 브라우저 설치
• Google Chrome 개발자 도구 실행
  • 빈 공간 오른쪽 마우스 > 검사 (Inspect) > Console 탭 실행

영어 설정

• Console 창에 스크립트 붙여넣기 후 Enter

// How many photos to delete?
// Put a number value, like this
// const maxImageCount = 5896
const maxImageCount = "ALL_PHOTOS";

// Selector for Images and buttons
const ELEMENT_SELECTORS = {
    checkboxClass: '.ckGgle',
    deleteButton: 'button[aria-label="Delete"]',
    languageAgnosticDeleteButton: 'div[data-delete-origin] > button',
    deleteButton: 'button[aria-label="Delete"]',
    confirmationButton: '#yDmH0d > div.llhEMd.iWO5td > div > div.g3VIld.V639qd.bvQPzd.oEOLpc.Up8vH.J9Nfi.A9Uzve.iWO5td > div.XfpsVe.J9fJmf > button.VfPpkd-LgbsSe.VfPpkd-LgbsSe-OWXEXe-k8QpJ.nCP5yc.kHssdc.HvOprf'
}

// Time Configuration (in milliseconds)
const TIME_CONFIG = {
    delete_cycle: 10000,
    press_button_delay: 2000
};

const MAX_RETRIES = 10;
let imageCount = 0;
let checkboxes;

let buttons = {
    deleteButton: null,
    confirmationButton: null
}

let deleteTask = setInterval(() => {
    let attemptCount = 1;

    do {
        checkboxes = document.querySelectorAll(ELEMENT_SELECTORS['checkboxClass']);
    } while (checkboxes.length <= 0 && attemptCount++ < MAX_RETRIES);

    if (checkboxes.length <= 0) {
        console.log("[INFO] No more images to delete.");
        clearInterval(deleteTask);
        console.log("[SUCCESS] Tool exited.");
        return;
    }

    imageCount += checkboxes.length;
    checkboxes.forEach((checkbox) => { checkbox.click() });
    console.log("[INFO] Deleting", checkboxes.length, "images");

    setTimeout(() => {
        try {
            buttons.deleteButton = document.querySelector(ELEMENT_SELECTORS['languageAgnosticDeleteButton']);
            buttons.deleteButton.click();
        } catch {
            buttons.deleteButton = document.querySelector(ELEMENT_SELECTORS['deleteButton']);
            buttons.deleteButton.click();
        }

        setTimeout(() => {
            buttons.confirmation_button = document.querySelector(ELEMENT_SELECTORS['confirmationButton']);
            buttons.confirmation_button.click();

            console.log(`[INFO] ${imageCount}/${maxImageCount} Deleted`);
            if (maxImageCount !== "ALL_PHOTOS" && imageCount >= parseInt(maxImageCount)) {
                console.log(`${imageCount} photos deleted as requested`);
                clearInterval(deleteTask);
                console.log("[SUCCESS] Tool exited.");
                return;
            }

        }, TIME_CONFIG['press_button_delay']);
    }, TIME_CONFIG['press_button_delay']);
}, TIME_CONFIG['delete_cycle']);

한국어 설정

• Console 창에 스크립트 붙여넣기 후 Enter

const maxImageCount = "ALL_PHOTOS";

// Selector for Images and buttons
const ELEMENT_SELECTORS = {
    checkboxClass: '.ckGgle',
    deleteButton: 'button[aria-label="삭제"]',
    confirmationButton: '#yDmH0d > div.llhEMd.iWO5td > div > div.g3VIld.V639qd.bvQPzd.oEOLpc.Up8vH.J9Nfi.A9Uzve.iWO5td > div.XfpsVe.J9fJmf > button.VfPpkd-LgbsSe.VfPpkd-LgbsSe-OWXEXe-k8QpJ.nCP5yc.kHssdc.HvOprf'
}

// Time Configuration (in milliseconds)
const TIME_CONFIG = {
    //delete_cycle: 7000,
    delete_cycle: 30000,
    press_button_delay: 1000
};

const MAX_RETRIES = 10;
let imageCount = 0;
let checkboxes;

let buttons = {
    deleteButton: null,
    confirmationButton: null
}

let deleteTask = setInterval(() => {
    let attemptCount = 1;

    do {
        checkboxes = document.querySelectorAll(ELEMENT_SELECTORS['checkboxClass']);
    } while (checkboxes.length <= 0 && attemptCount++ < MAX_RETRIES);

    if (checkboxes.length <= 0) {
        console.log("[INFO] No more images to delete.");
        clearInterval(deleteTask);
        console.log("[SUCCESS] Tool exited.");
        return;
    }

    imageCount += checkboxes.length;
    checkboxes.forEach((checkbox) => { checkbox.click() });
    console.log("[INFO] Deleting", checkboxes.length, "images");

    setTimeout(() => {
        buttons.deleteButton = document.querySelector(ELEMENT_SELECTORS['deleteButton']);
        buttons.deleteButton.click();
        setTimeout(() => {
            buttons.confirmation_button = document.querySelector(ELEMENT_SELECTORS['confirmationButton']);
            buttons.confirmation_button.click();
            console.log(`[INFO] ${imageCount}/${maxImageCount} Deleted`);

            if (maxImageCount !== "ALL_PHOTOS" && imageCount >= parseInt(maxImageCount)) {
                console.log(`${imageCount} photos deleted as requested`);
                clearInterval(deleteTask);
                console.log("[SUCCESS] Tool exited.");
                return;
            }
        }, TIME_CONFIG['press_button_delay']);
    }, TIME_CONFIG['press_button_delay']);
}, TIME_CONFIG['delete_cycle']);

• 참고자료 : https://github.com/mrishab/google-photos-delete-tool/

• 단단한 강화학습

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor

• 단단한 강화학습

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 08. 심층강화학습을 여행하는 히치하이커를 위한 안내서

2022-02-23

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 07. DDPG 구현하기

2022-02-21

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 05. Deep Deterministic Policy Gradient (DDPG) - 1
      • 06. Deep Deterministic Policy Gradient (DDPG) - 2

2022-02-16

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 03. DQN 구현하기
      • 04. DQN과 아이들

2022-02-14

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 5. 심층강화학습
    • Ch 01. 심층강화학습 논문 읽기
      • 01. Deep Q-network (DQN) - 1
      • 02. Deep Q-network (DQN) - 2

2022-02-09

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 4. 정책 최적화
    • Ch 03. 정책 경사 다시 소개
      • 01. 정책 경사 Trajectory 최적화!

2022-02-07

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 4. 정책 최적화
    • Ch 02. Actor-critic 소개
      • 01. Actor-critic 가치기반 강화학습과 정책 경사의 만남
      • 02. Actor-critic 실습

2022-02-02

• 모델 성능 개선으로 익히는 강화학습 A-Z
  • Part 4. 정책 최적화
    • Ch 01. 정책 경사 소개
      • 03. 정책 경사 실습
      • 04. 정책 경사 실습 2

Template

• Fundamental of Reinforcement Learning
  • Chapter #.
• 모두를 위한 머신러닝/딥러닝 강의
  • Lecture #.
• UCL Course on RL
  • Lecture #.
• Reinforcement Learning
  • Page #.
• 팡요랩
  • 강화학습 1강 - 강화학습 introduction
  • 강화학습 2강 - Markov Decision Process
  • 강화학습 3강 - Planning by Dynamic Programming
  • 강화학습 4강 - Model Free Prediction
  • 강화학습 5강 - Model Free Control
  • 강화학습 6강 - Value Function Approximation
  • 강화학습 7강 - Policy Gradient
  • 강화학습 8강 - Integrating Learning and Planning
  • 강화학습 9강 - Exploration and Exploitation
  • 강화학습 10강 - Classic Games
• Pattern Recognition & Machine Learning
• S-K RL
• multi_step_actor