티스토리

정리노트

검색하기

블로그 홈

정리노트

roboharco12.tistory.com/m

로봇과 AI에 관한 공부 기록용 블로그

구독자: 0

방명록 방문하기

주요 글 목록

Deep Deterministic Policy Gradient (DDPG) Deep Deterministic Policy Gradient는- DQN: https://arxiv.org/abs/1312.5602- Deterministic Policy Gradient https://proceedings.mlr.press/v32/silver14.html 두가지를 합친 알고리즘입니다. DDPG는 기존 DQN이 풀지못했던"연속적인 Action Space에 대한 Policy 최적화"를 Deterministic Policy Gradient 도입하여 효과적으로 해결하였으며, 2016 ICLR (International Conference on Learning Representations)에 "continuous control with deep reinforcement learning"ht.. 공감수 0 댓글수 0 2024. 5. 20.
Trajectory 최적화 관점에서 바라본 Policy Gradient https://roboharco12.tistory.com/62 단단한 강화학습 Chapter13_ 정책 경사도 방법(Policy Gradient Methods)지금까지 포스팅에서 다뤘던 내용은, Value Based 방식으로, 가치함수를 통해 Policy를 결정하는 것들이었습니다.이번 챕터내용은 가치함수 없이도 행동을 선택할 수 있는 파라미터 기반의 정책(정roboharco12.tistory.com에서 정의했던것 처럼, Policy Gradient의 목적함수는 Episodic Task상황에서아래와 같이initial state로 정의 합니다.Policy Gradient는 이 J(θ)를 Maximize하는것이 목표이며,이것을 그냥 심플하게 말로 풀어쓰면 임의의 Initial State S0에서 향후 받게될.. 공감수 0 댓글수 0 2024. 5. 20.
[논문리뷰] Deep Q Network (DQN) https://arxiv.org/abs/1312.5602 Playing Atari with Deep Reinforcement Learning We present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose input is raw arxiv.org https://www.nature.com/articles/nature14236/?source=.. 공감수 6 댓글수 0 2023. 6. 3.
단단한 강화학습 Chapter13_ 정책 경사도 방법(Policy Gradient Methods) 지금까지 포스팅에서 다뤘던 내용은, Value Based 방식으로, 가치함수를 통해 Policy를 결정하는 것들이었습니다.이번 챕터내용은 가치함수 없이도 행동을 선택할 수 있는 파라미터 기반의 정책(정책에대한 근사)을 학습하는 방법에 대해 다뤄보겠습니다. 앞서 가치함수 근사에서는 w라는 Notation으로 실제 Value값과 일치하게 근사하도록 J(w)에 대한 Gradient Descent를 수행했다면, 이번 Policy Gradient에서는 Policy에대한 목적함수 J(θ)를 최대화하는 Gradient Ascent를 수행합니다. Value Function와 Policy에 대해 동시에 학습하는 것을 Actor-Critic이라고 합니다.이번 포스팅에서는 Actor Critic 모델로 넘어가기전, Pol.. 공감수 2 댓글수 1 2023. 5. 16.
단단한 강화학습 Chapter 9-11_함수근사(Function Approximation) 이제 책의 1부에서는 Tabular 형식의 알고리즘을 다루었습니다. 이는 상태(State)와 행동(Action)에 대한 정의가 이산적인 표 형태라는 것을 의미합니다. 당연하게도 이러한 Tabular 형식은 한계가 있습니다. 가장 치명적인 단점은 행동 공간이나 상태 공간의 크기가 매우 크거나 무한한 경우(Contious한 Value일 경우), 학습이 불가능해진다는 점입니다. 2부에서 다루는 알고리즘은 이러한 문제를 함수 근사(Function Approximation)를 통해 해결하게 됩니다. 조금 더 구체적으로 말하면, GPI(Generalized Policy Iteration)에서 다루는 Value Function과 Policy에 대해 각각 함수 근사를 적용함으로써 연속적인 상황에서도 문제없이 가치와 행.. 공감수 2 댓글수 0 2023. 5. 8.
단단한 강화학습 Chapter6_시간차 학습(Temporal-Difference Learning) 시간차 학습(Temporal Difference Learning, TD Learning)은 강화학습에서 가장 핵심이 되는 개념 중 하나로, 몬테카를로(Monte Carlo) 방법과 동적 계획법(Dynamic Programming, DP)을 결합한 알고리즘입니다. TD 방법은 몬테카를로 방법처럼 환경의 동역학 모델 없이 데이터 샘플들로부터 직접 학습을 수행할 수 있습니다. 또한, 종단 상태(Terminal State)에 도달하지 않아도 다른 학습된 추정치를 기반으로 추정치를 업데이트할 수 있습니다(이를 부트스트랩이라고 합니다). 정책 평가(Policy Evaluation)와 정책 개선(Policy Improvement) 과정을 번갈아 진행하는 제어(Control) 문제에 대해서는 MC, DP, TD 모두 .. 공감수 5 댓글수 1 2023. 4. 21.
단단한 강화학습 Chapter5_몬테 카를로 방법 (Monte Carlo Methods) Chapter 5에서는 Value Function을 추정하고 최적의 Policy를 찾는데 활용할 첫번째 "학습" 방법을 다룹니다. 이전 Dynamic Programming에서는 환경에대한 모델링을 알고있었기 때문에, 내가 어떤 State에서 어떤 행동을할때 얼마만큼의 확률로 어떤 State에 도달하는지 알수 있었고, 그에대한 Reward도 파악할 수 있었습니다. 즉, P(s,r | s`,a)를 알고있기 때문에 이를기반으로 Policy Evaluation과정을 진행할 수 있었습니다. 이러한 방식은 환경을 이미 다 알고 그안에서 에이전트가 어떻게 행동할지 결정한다는 점에서 Learning방식이라기보다는 Planning방식이라고 책에서는 구분짓습니다. Learning이라고 구분짓는 방식은 환경을 모른다고 가정.. 공감수 0 댓글수 0 2023. 4. 11.
단단한 강화학습 Chapter4_동적 프로그래밍 (Dynamic Programming) "Dynamic Programming"이라는 용어는 MDP(Marcov Decision Process)같은 환경모델이 완벽하게 주어졌을때 -> State간의 Transition Probability와 그에 대한 Reward Funvtion이 완벽하게 정의되어 있을때 최적 정책을 계산하기위해 사용될 수 있는 일군의 알고리즘을 가리킵니다. 고전적인 DP 알고리즘은 기본적으로 환경에대한 Modeling이 완벽해야한다는 점과, 엄청난 양의 계산량을 필요로 하기때문에 그 활용도가 제한되지만 이론적으로는 현재까지도 중요한 위치를 차지합니다. 이번 Chapter4 에서 정의하는 환경은 Finite(유한) Marcov Decision Process 로 모델링된다고 가정합니다. -> 환경의 상태 S, 행동 A, 보상 R.. 공감수 1 댓글수 1 2022. 11. 2.
단단한 강화학습 Chapter3_(2) _유한 마르코프 결정 과정(Finite Markov DecisionProcesses) 지난번에 이어서 계속 포스팅 해보도록 하겠습니다. ◆목차◎ 정책과 가치함수 (Policies and Value Functions)◎ 최적 정책과 최적 가치 함수 (Optimal Policies and Optimal Value Functions) ◎ 정책과 가치함수 (Policies and Value Functions)정책(Policy)과 Value function(가치함수)는 거의 모든 강화학습 알고리즘에 적용되는 개념입니다. Value function(가치함수)이란, "Agent가 현재 주어진 State에 있을때, 혹은 어떤 Action을 취할때 이것이 얼마나 좋은가"의 정량적 수치를 추정하는 함수를 말하며, 여기서 "얼마나 좋은가?"를 자세히 말하면 "Expected Sum of Futu.. 공감수 6 댓글수 1 2022. 10. 9.
단단한 강화학습 Chapter3_(1) _유한 마르코프 결정 과정(Finite Markov DecisionProcesses) Chapter 2에서 다룬 다중선택 문제는 비연합구조의 문제 (State-> Action -> Reward가 한번의 학습이 이루어지는 상황)의 상황이었습니다. https://roboharco12.tistory.com/54?category=1064282 단단한 강화학습 Chapter2_(1) _다중선택(Multi-armed Bandits) 강화학습과 다른 학습과의 가장 큰 차이점은 강화학습은 "정답(Label), 올바른 행동"을 학습할때 '지침(Instruction)'이 아니라, '평가(Evaluation)'하는 정보를 사용하여 학습한다는 것입니다. 지침적인(I roboharco12.tistory.com https://roboharco12.tistory.com/55 단단한 강화학습 Chapter2_(2) .. 공감수 2 댓글수 1 2022. 10. 3.
단단한 강화학습 Chapter2_(2) _다중선택(Multi-armed Bandits) 지난 포스팅에 이어서 쭉 진행해보도록 하겠습니다. ◆목차 ◎ 긍정적 초깃값 (Optimistic Initial Values) ◎ 신뢰 상한 행동선택 (Upper-Confidence-Bound Action Selection) (UCB) ◎ 경사도 다중선택 알고리즘 (Gradient Bandit Algorithms) ◎ 연관탐색 (Associative Search (Contextual Bandits)) ◎ Chapter_2 Summary ◎ 긍정적 초깃값 (Optimistic Initial Values) 이전 포스팅에서 살펴본 모든 방법 (Stationary, Nonstationary상황에서 표본평균법, 고정된 시간 간격 방법)들은 초기 행동 가치 값(Initial Action Value Estimates).. 공감수 2 댓글수 0 2022. 10. 2.
단단한 강화학습 Chapter2_(1) _다중선택(Multi-armed Bandits) 강화학습과 다른 학습과의 가장 큰 차이점은강화학습은 "정답(Label), 올바른 행동"을 학습할때'지침(Instruction)'이 아니라, '평가(Evaluation)'하는 정보를 사용하여 학습한다는 것입니다. 지침적인(Instructive) 피드백은 실제로 취해진 행동과는 상관없이 취해야할 행동을 알려줌으로서 학습이 진행됩니다.일반적인 Machine Learning알고리즘의 학습법이 여기에 해당합니다. 반면, 평가적인(Evaluative) 피드백은 취해진 행동이 얼마나 좋은지를 나타낼 뿐 그것이 최고의 행동인지, 최악의 행동인지는 알려주지 않습니다. 정리하면,평가적인 피드백은 취해진 행동에 전적으로 의존하는 반면, 지침적인 피드백은 취해진 행동과는 무관하게 이루어집니다. Chapter2에서는 주로 .. 공감수 11 댓글수 0 2022. 10. 1.
단단한 강화학습_intro 강화학습의 Bible이라고 불리는 "단단한 강화학습". 조금 욕심내서 제대로 읽어보고 싶은마음에따로 정리해보면서 읽기로 마음먹고 포스팅을 진행하게됐습니다. 각 챕터별로 포스팅하면서코드구현해볼 수 있는 부분은 코딩하고 깃허브에 업로드해보면서 공부를 진행해보려고합니다. 그리고,추후 공부하면서 유용했던 추가적인 자료들은 여기 포스팅에 지속적으로 업데이트할 예정입니다. - 교재 원본 및 기타링크 http://incompleteideas.net/book/the-book-2nd.html Sutton & Barto Book: Reinforcement Learning: An Introduction incompleteideas.net - 예제 풀이https://github.com/krex4715/Reinforcem.. 공감수 1 댓글수 0 2022. 9. 30.
DRL_Introduction_(4) Value Based Approach_2 https://www.youtube.com/watch?v=dw0sHzE1oAc&list=PLldiB_QS6edl3h831ZrSG8crEWOvPWeun&index=4 발표자료 https://www.slideshare.net/NaverEngineering/introduction-of-deep-reinforcement-learning Introduction of Deep Reinforcement Learning 발표자: 곽동현(서울대 박사과정, 현 NAVER Clova) 강화학습(Reinforcement learning)의 개요 및 최근 Deep learning 기반의 RL 트렌드를 소개합니다. 발표영상: http://tv.naver.com/v/2024376 https://youtu… www.slideshar.. 공감수 0 댓글수 0 2022. 8. 30.
DRL_Introduction_(3) Value Based Approach_1 https://www.youtube.com/watch?v=dw0sHzE1oAc&list=PLldiB_QS6edl3h831ZrSG8crEWOvPWeun&index=4 발표자료https://www.slideshare.net/NaverEngineering/introduction-of-deep-reinforcement-learning Introduction of Deep Reinforcement Learning발표자: 곽동현(서울대 박사과정, 현 NAVER Clova) 강화학습(Reinforcement learning)의 개요 및 최근 Deep learning 기반의 RL 트렌드를 소개합니다. 발표영상: http://tv.naver.com/v/2024376 https://youtu…ww.. 공감수 2 댓글수 0 2022. 8. 27.
DRL_Introduction_(2) Marcov Decision Process_2 https://www.youtube.com/watch?v=dw0sHzE1oAc&list=PLldiB_QS6edl3h831ZrSG8crEWOvPWeun&index=4 발표자료https://www.slideshare.net/NaverEngineering/introduction-of-deep-reinforcement-learning Introduction of Deep Reinforcement Learning발표자: 곽동현(서울대 박사과정, 현 NAVER Clova) 강화학습(Reinforcement learning)의 개요 및 최근 Deep learning 기반의 RL 트렌드를 소개합니다. 발표영상: http://tv.naver.com/v/2024376 https://youtu…ww.. 공감수 0 댓글수 0 2022. 8. 25.
DRL_Introduction_(1) Marcov Decision Process_1 아래 영상은 곽동현 연구원님의 1시간 25분짜리 DRL 소개 영상인데요,Deep Reinforcement Learning에 대한 기본 틀을 잡고 시작하기 딱 좋은 영상이라 생각이들어서,영상내용을 쭉 정리해보는 포스팅을 진행해보려 합니다https://www.youtube.com/watch?v=dw0sHzE1oAc&list=PLldiB_QS6edl3h831ZrSG8crEWOvPWeun&index=4 발표자료https://www.slideshare.net/NaverEngineering/introduction-of-deep-reinforcement-learning Introduction of Deep Reinforcement Learning발표자: 곽동현(서울대 박사과정, 현 NA.. 공감수 0 댓글수 0 2022. 8. 25.
[논문리뷰] Human-in-the-loop optimization of hip assistance witha soft exosuit during walking https://www.researchgate.net/publication/323483725_Human-in-the-loop_optimization_of_hip_assistance_with_a_soft_exosuit_during_walking ◆ Introduction 그동안 외골격 로봇에대한 수많은 연구가 있어왔지만, 적용에 어려움을 겪는 가장 큰 부분중 하나는 바로 'Personalization'에 대한 부분이다. 사람의 신체와 움직임의 특성은 개개인마다 천차만별이기 때문에, 특정 목적을 수행하는 제어가 이루어지더라도, 한가지의 고정된 Control Strategy로는 모든 사람들에게 Optimal한 제어를 제공할 수는 없다는 것이 여러 논문 결과를 통해 밝혀졌다. 가령, 사람이 걷는데 힘을 보조하는 .. 공감수 0 댓글수 0 2022. 8. 25.
Jetson Xavier AGX - Jetpack5.0.1세팅(5) - 나머지 라이브러리(VsCode, Scikitlearn,Terminator등) 1, VS Code 이전 Jetpack 4.x 버전에서 잘 돌아갔던 vs code가 Jetpack5.0 버전에서 설치는되는데 실행은 안되는 문제가 있었습니다 포럼을 뒤져보니 https://forums.developer.nvidia.com/t/vs-code-can-t-launch-with-jetpack-5-0/213980/11 VS code can’t launch with JetPack 5.0 Just tried this. It seems to just freeze without ever launching the app. forums.developer.nvidia.com vs code를 1.50.0 으로 이전버전을 설치해서 사용하면 된다는 답변이 있어서 그대로 따라해봤는데, 잘 실행되는게 확인됐습니다 $ .. 공감수 0 댓글수 0 2022. 7. 20.
Jetson Xavier AGX - Jetpack5.0.1세팅(4) - ROS2 Galatic 설치 및 개발환경 구축 지금까지의 Jetson Xavier세팅이 순조로웠다면, ROS2 설치하는것 자체는 훨씬 간단하게 끝납니다. https://docs.ros.org/en/galactic/Installation/Ubuntu-Install-Debians.html Ubuntu (Debian) — ROS 2 Documentation: Galactic documentation Debian packages for ROS 2 Galactic Geochelone are currently available for Ubuntu Focal. The target platforms are defined in REP 2000 Make sure you have a locale which supports UTF-8. If you are in a min.. 공감수 4 댓글수 0 2022. 7. 20.
Jetpack 5.0.1 Fan Mode 설정 지금까지 Jetpack에서 Jetson Xavier 디바이스에 있는 Fan을 컨트롤하기 위해서는 크게 nvpmodel명령어를 이용하거나, jtop을 활용하여 이를 컨트롤하는 방법을 주로 사용했었습니다 아래 블로그에 잘 정리되어 있습니다. https://jstar0525.tistory.com/86 [Jetson] [nvpmodel] 성능, 팬 모드 설정 이번 시간에는 jetson의 성능, 팬 모드를 설정할 수 있는 nvpmodel에 대해 알아보겠습니다. 1. Print help info. $ sudo nvpmodel -h Nvidia Power Model Tool Version 1.1.4 Usage: nvpmodel [-h | --help] [--ve.. jstar0525.tistory.com 그런데, 얼.. 공감수 3 댓글수 0 2022. 7. 20.
Jetson Xavier AGX - Jetpack5.0.1세팅(3) - PyTorch v1.12.0 , torchvision 0.13.0 설치하기 ◎ PyTorch설치 Pytorch설치같은경우엔 아래 포럼을 참조하여 작성하였습니다. https://forums.developer.nvidia.com/t/pytorch-for-jetson-version-1-11-now-available/72048 PyTorch for Jetson - version 1.11 now available Below are pre-built PyTorch pip wheel installers for Python on Jetson Nano, Jetson TX1/TX2, Jetson Xavier NX/AGX, and Jetson AGX Orin with JetPack 4.2 and newer. Download one of the PyTorch binaries from below fo.. 공감수 1 댓글수 0 2022. 7. 20.
Jetson Xavier AGX - Jetpack5.0.1세팅(2) - SSD 카드 부팅디스크 만들기 (Jetpack 5.0.1) 이전 포스팅에서 nvidia SDK Manager로 Jetpack 5.0.1을 설치하는 과정에대해 정리했었는데, 설치를 해놓고보니 ..공간이 모자라도 너무 모자랐다고 합니다. 해서 추가로 1Tb SSD카드를 따로 구매해서 용량을 늘려주는 작업을 진행했습니다 이번포스팅은 SSD를 부팅디스크로 만드는 일련의 과정을 정리해보도록 하겠습니다. 아래 블로그를 참조해서 진행했습니다. https://semotube.tistory.com/98 Jetson AGX Xavier : SSD를 부팅디스크로 만들기 ( M.2 NVMe SSD ) 유튜브 동영상 : youtu.be/_EzstTHPO30 Xavier에 우분투 설치했다고 해서 SSD로 부팅되는것은 아닙니다. SSD의 읽기속도는 SD카드보다 7배정도 빠릅니다. 따라서 .. 공감수 2 댓글수 1 2022. 7. 20.
Jetson Xavier AGX - Jetpack5.0.1세팅(1) - Jetpack 설치 Jetson Xavier AGX에 ROS2환경으로 인공지능관련 프로젝트를 진행할 일이 있어서, Jetson Xavier AGX에 구현해놓은 여러가지 환경세팅에대해 포스팅 해보고자 합니다. 제일먼저, Jetson Device 를 다룰때 가장 먼저 시작하는 Jetpack설치부터 다뤄보도록 하겠습니다 ◎ Jetpack sdk manager Jetson 플랫폼은 Jetpack 이라는 Package Manager가 따로 있어서 이를 통해 Jetson전용 OS부터 CUDA, CUDnn 등등 GPU 활용을 위한 여러가지 라이브러리를 처음 부팅할때부터 받을 수 있도록 해놓았습니다. Jetpack 4.x. 버전까지만 해도 제공되는 Ubuntu버전이 18.04이다보니, Jetson Xavier에 ROS2를 깔기가 조금 애.. 공감수 0 댓글수 1 2022. 7. 20.
Stewart Platform Impedance Control Stewart Platform으로 Impedance Control을 적용할 일이 있어서, 제어하면서 필요했던 내용을 간단하게라도 정리해보고자 포스팅하게되었습니다 ◆ 목차 ◎ Stewart Platform ◎ 전체 제어구조 ◎ Dynamic Controller ○ Dynamic Controller ○ Impedance Force ○ Merge ◎ Other Nodes ○ Force to Torque Mapping ○ Forward Kinematics ◎ Stewart Platform Stewart Platform은 위와같이 생긴 구조의 Manipulator를 말하며, 보통 상판 - Spherical Joint(3자유도) - Linear Actuator - Universial Joint(2자유도) - 하판 .. 공감수 6 댓글수 0 2022. 7. 10.
Deep Learning (13)_ Object Detection 지난 포스팅에서 CNN에 대해 3번에 걸쳐서 다뤄보았다. Convolution Layer는 해당 이미지 Pixel 안의 Data를 Input으로 특징정보를 추출 해주는 일종의 Filter고, 이런 Convolution Layer를 이용해 만든 Neural Network를 바로 CNN이라고 한다. 이번 포스팅에서는 CNN을 이용해서 객체 탐지, 즉 Object Detection을 진행하는 것에 대해 다뤄보도록 하겠다. ◆ 목차 ◎ Localization & Detection ◎ Classification With Localization ○ Loss Function ◎ Convolution implementation of Sliding Windows ○ Replace FC Layer to Convolutio.. 공감수 0 댓글수 0 2022. 6. 18.
Deep Learning (12)_CNN_3 : ResNet https://arxiv.org/abs/1512.03385 Deep Residual Learning for Image RecognitionDeeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions witharxiv.org2015년 위 논문이 발표되고image Classification분야에서 혁신을 일으켰던 ResNet.. 공감수 0 댓글수 0 2022. 6. 15.
Deep Learning (11)_CNN_2.. LeNet-5, Alex Net, VGG Net 지금까지 CNN 포스팅에서, CNN의 여러가지 Building Block과 이를 바탕으로한 가장 기초적인 CNN Model에 대해서 살펴보았다. 이번에 포스팅할 내용은 이런 CNN모델 Architecture의 Reference들이다. ◆ 목차 ◎ Classic Networks with CNNs ○ LeNet-5 ○ AlexNet ○ VGG Net ◎ Classic Networks with CNNs ○ LeNet-5(1998) 오래전 제안된 Architecture로, MaxPooling대신 Avg Pooling이 쓰이고, Cross Entropy대신 L2 Distance가 쓰이는 게 \ 최근 Architecture와는 많이 다르다는 것을 알 수 있다. https://ieeexplore.ieee.org/st.. 공감수 1 댓글수 0 2022. 5. 22.
Deep Learning (10)_CNN (Convolution Neural Network)_1 지난번 포스팅에서, CNN Architecture에는 크게 3가지 Building Block이 있다고 했다. -> Convoluion Layer, Fully Connected Layer, Pooling Layer 직전 포스팅에서 Convoluion Layer, Fully Connected Layer에 대해서는 다뤘고, 이번 포스팅에서는 나머지 Building Block인 Pooling Layer에 대해서 다뤄보려고 한다. 그리고, 이런 Building Block으로 만든 CNN의 예시로 어떤 것들이 있는지 살펴보고, Pytorch상에서 이를 어떻게 구현하는지 알아보겠다. ◆ 목차 ◎ A Simple Convolution neural Network ◎ Pooling Layers ○ Max Pooling ○.. 공감수 0 댓글수 0 2022. 5. 22.
Deep Learning (9)_Convolution Layer 이번 포스팅에서는 Computer Vision에 쓰이는 여러가지 Neural Network중, 매우 큰 Building Block인 Convolution Layer에 대해 다루어 보고자 한다. ◆목차 ◎ Computer Vision Problem Types ◎ Building Blocks of CNN ◎ FC(Fully Connected Layer) ◎ Convolution Layer ○ Edge Detection ○ Learning Filters.. to detect Various Edge ○ Convolution with Bias ○ Padding & Stride ○ Summary of Convolutions & Notation ◎ Convolution Over Volume (참고) ◎ Technic.. 공감수 0 댓글수 0 2022. 5. 22.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.