header logo icon

Жүктеп алу "Proximal Policy Optimization (PPO) for LLMs Explained Intuitively"

input logo icon
Жүктеп алу үшін өтіңіз
Бұл бейнені жүктеп алыңызUDL Client
  • Бейне mp4 HD+ дыбыспен
  • Mp3 ең жақсы сапада
  • Кез келген өлшемді файлдар
"videoThumbnail Proximal Policy Optimization (PPO) for LLMs Explained Intuitively
play-icon
Мазмұны
|

Мазмұны

0:00
Intro
1:21
RL for LLMs
5:53
Policy Gradient
9:23
The Value Function
12:14
Generalized Advantage Estimate
17:17
End-to-end Training Algorithm
18:23
Importance Sampling
20:02
PPO Clipping
21:36
Outro
Біздің каталогтағы ұқсас бейнелер
|

Біздің каталогтағы ұқсас бейнелер

Бейне тегтері
|

Бейне тегтері

proximal policy optimization
ppo
reinforcement learning
reasoning models
LLM
machine learning
artificial intelligence
Сізде UDL Helper орнатылған. Бір рет басу арқылы бейне жүктеп алыңыз!
Орнатылған
үшін
Google Chrome

Сипаттама:

In this video, I break down Proximal Policy Optimization (PPO) from first principles, without assuming prior knowledge of Reinforcement Learning. By the end, you’ll understand the core RL building blocks that led to PPO, including: 🔵 Policy Gradient 🔵 Actor-Critic Models 🔵 The Value Function 🔵 The Generalized Advantage Estimate In the LLM world, PPO was used to train reasoning models like OpenAI's o1/o3, and presumably Claude 3.7, Grok 3, etc. It’s the backbone of Reinforcement Learning with Human Feedback (RLHF) -- which helps align AI models with human preferences and Reinforcement Learning with Verifiable Rewards (RLVR), which gives LLMs reasoning abilities. Papers: - PPO paper: https://arxiv.org/pdf/1707.06347 - GAE paper: https://arxiv.org/pdf/1506.02438 - TRPO paper: https://arxiv.org/pdf/1502.05477 Well-written blogposts: - https://danieltakeshi.github.io/2017/04/02/notes-on-the-generalized-advantage-estimation-paper/ - https://huggingface.co/blog/NormalUhr/rlhf-pipeline - https://iclr-blog-track.github.io/2022/03/25/ppo-implementation-details/ Implementations: - (Original) OpenAI Baseslines: https://github.com/openai/baselines/blob/ea25b9e8b234e6ee1bca43083f8f3cf974143998/baselines/ppo2 - Hugging Face: https://github.com/huggingface/trl/blob/main/trl/trainer/ppo_trainer.py - Hugging Face docs: https://huggingface.co/docs/trl/main/en/ppo_trainer Mother of all RL books (Barto & Sutton): http://incompleteideas.net/book/RLbook2020.pdf 00:00 Intro 01:21 RL for LLMs 05:53 Policy Gradient 09:23 The Value Function 12:14 Generalized Advantage Estimate 17:17 End-to-end Training Algorithm 18:23 Importance Sampling 20:02 PPO Clipping 21:36 Outro Special thanks to Anish Tondwalkar for discussing some of these concepts with me. Note: At 21:10, A_t should have been inside the min. Thanks @t.w.7065 for catching this.

Медиафайл пішімдерде қолжетімді

popular icon
Танымал
hd icon
HD бейне
audio icon
Тек дыбыс
total icon
Барлық
Форматтарды көрсетуreload icon
* — Бейне жаңа қойындыда ойнатылып жатса, оған өтіп, бейнені тінтуірдің оң жақ түймешігімен басып, «Бейнені басқаша сақтау...» опциясын таңдаңыз
** — Арнайы ойыншыларда онлайн ойнатуға арналған сілтеме

Бейнелерді жүктеп алу туралы сұрақтар

question icon"Proximal Policy Optimization (PPO) for LLMs Explained Intuitively" бейнені қалай жүктеп алуға болады?arrow icon

    http://univideos.ru/ бағдарламалар мен кеңейтімдерді орнатусыз орындағыңыз келсе, бейнені немесе бөлек аудио тректі жүктеп алудың ең жақсы жолы.
    UDL Helper кеңейтімі - мазмұнды жылдам жүктеп алу үшін YouTube, Instagram және OK.ru сайттарына үздіксіз біріктірілген ыңғайлы түйме.

    UDL Client (Windows үшін) 900-ден астам сайттарды, әлеуметтік желілерді және бейнехостингті, сондай-ақ көзде қолжетімді кез келген бейне сапасын қолдайтын ең қуатты шешім болып табылады.

    UDL Lite - мобильді құрылғыдан сайтқа ыңғайлы қол жеткізуді қамтамасыз етеді. Оның көмегімен сіз бейнелерді тікелей смартфонға оңай жүктей аласыз.

question iconҚай бейне "Proximal Policy Optimization (PPO) for LLMs Explained Intuitively" пішімін таңдауым керек?arrow icon

    Ең жақсы сапа пішімдері - FullHD (1080p), 2K (1440p), 4K (2160p) және 8K (4320p). Экранның ажыратымдылығы неғұрлым жоғары болса, бейне сапасы соғұрлым жоғары болуы керек. Дегенмен, басқа факторларды ескеру қажет: жүктеу жылдамдығы, бос орын көлемі және ойнату кезінде құрылғының өнімділігі.

question icon"Proximal Policy Optimization (PPO) for LLMs Explained Intuitively" бейнені жүктеген кезде компьютерім неге қатып қалады?arrow icon

    Браузер/компьютер толығымен қатып қалмауы керек! Бұл орын алса, бейнеге сілтеме арқылы хабарлаңыз. Кейде бейнелерді тиісті форматта тікелей жүктеп алу мүмкін емес, сондықтан біз файлды қажетті пішімге түрлендіру мүмкіндігін қостық. Кейбір жағдайларда бұл процесс компьютерлік ресурстарды белсенді пайдалана алады.

question iconТелефоныңызға "Proximal Policy Optimization (PPO) for LLMs Explained Intuitively" бейнені қалай жүктеп алуға болады?arrow icon

    Бейнені смартфонға UDL Lite веб-сайты немесе pwa қолданбасы арқылы жүктеп алуға болады. UDL Helper кеңейтімін пайдаланып QR коды арқылы жүктеу сілтемесін жіберуге де болады.

question iconАудио жолды (музыканы) MP3 "Proximal Policy Optimization (PPO) for LLMs Explained Intuitively" файлына қалай жүктеп алуға болады?arrow icon

    Ең қолайлы әдіс - бейнелерді MP3 пішіміне түрлендіруді қолдайтын UDL Client бағдарламасын пайдалану. Кейбір жағдайларда MP3 файлын UDL Helper кеңейтімі арқылы да жүктеп алуға болады.

question icon"Proximal Policy Optimization (PPO) for LLMs Explained Intuitively" бейнеден кадрды қалай сақтауға болады?arrow icon

    Бұл мүмкіндік UDL Helper кеңейтімінде қол жетімді. Параметрлерде «Бейнеден скриншотты сақтау үшін түймені көрсету» құсбелгісінің қойылғанына көз жеткізіңіз. Камера белгішесі ойнатқыштың төменгі оң жақ бұрышында «Параметрлер» белгішесінің сол жағында пайда болуы керек, оны басу ағымдағы кадрды бейнеден компьютерге JPEG пішімінде сақтайды.

question iconАғындық бейнені қалай ойнатуға және жүктеуге болады?arrow icon

    Бұл үшін сізге https://www.videolan.org/vlc/ ресми веб-сайтынан тегін жүктеп алуға болатын VLC-ойнатқышы қажет.

    VLC ойнатқышы арқылы ағынды бейнені қалай ойнатуға болады:

    • бейне форматтарында тінтуірді «Ағынды бейне**» үстіне апарыңыз;
    • «Сілтемені көшіру» түймесін тінтуірдің оң жақ түймешігімен басыңыз;
    • ашық VLC ойнатқышы;
    • мәзірден Файл - Желілік ағынды ашу - Желі таңдаңыз;
    • көшірілген сілтемені енгізу өрісіне қойыңыз;
    • «Ойнату» түймесін басыңыз.

    VLC ойнатқышы арқылы ағынды бейнені жүктеп алу үшін оны түрлендіру қажет:

    • бейне мекенжайын (URL) көшіру;
    • VLC ойнатқышының «Файл» элементінде «Ашық желі ағынын» таңдаңыз және бейненің сілтемесін енгізу өрісіне қойыңыз;
    • «Ойнату» түймесіндегі көрсеткіні басыңыз және тізімнен «Convert» тармағын таңдаңыз;
    • «Бейін» жолында «Video - H.264 + MP3 (MP4)» таңдаңыз;
    • түрлендірілген бейнені сақтау үшін қалтаны таңдау үшін «Шолу» түймесін басыңыз және «Бастау» түймесін басыңыз;
    • түрлендіру жылдамдығы бейненің ажыратымдылығына және ұзақтығына байланысты.

    Ескерту: бұл жүктеп алу әдісі бұдан былай YouTube бейнелерінің көпшілігінде жұмыс істемейді.

question iconБарлығы қанша тұрады?arrow icon

    Ештене етпейді. Біздің қызметтеріміз барлық пайдаланушылар үшін мүлдем тегін. PRO жазылымдары жоқ, жүктелген бейнелердің санына немесе максималды ұзақтығына шектеулер жоқ.