header logo icon

Скачать "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data"

input logo icon
Перейти к скачиванию
Скачайте это видео через UDL Client
  • Видео mp4 HD+ со звуком
  • Mp3 в максимальном качестве
  • Файлы любого размера
"videoThumbnail Using Fabric notebooks (pySpark) to clean and transform real-world JSON data
play-icon
Оглавление
|

Оглавление

0:00
Intro
1:09
Recap on the Lakehouse Files
1:40
Intro to notebook structure
2:12
Reading JSON into pySpark dataframe
4:07
Exploring the data in Azure Storage Explorer & VS Code
5:28
Parsing the JSON
8:52
Datetime conversion
9:55
Calculated columns
11:25
Rounding numbers
12:37
Code refactoring
Похожие ролики из нашего каталога
|

Похожие ролики из нашего каталога

Теги видео
|

Теги видео

data engineering notebook
data cleaning
data transformation
microsoft fabric
data pipeline
lakehouse
data warehouse
power bi
data engineering
ELT
ETL
open data
API
extract transform load
onelake
synapse notebook
pyspark
spark
python
azure
azure storage explorer
У вас уже установлен UDL Helper Вы можете скачивать видео в 1 клик!
Установлено
для
Google Chrome

Описание:

10+ hours of FREE Fabric Training: https://www.skool.com/microsoft-fabric/classroom/d154aad4?md=3b108b0e216c46c88d891407ccd8647b #dataengineering #python #microsoftfabric In this video, I make use of Microsoft Fabric's data engineering experience - specifically the Synapse Data Engineering Notebooks (pySpark engine) to read a JSON file in our Lakehouse Files area, parse the JSON structure, clean the data a bit, transform some of the columns and then LOAD the data into a nice Lakehouse Table. This video follows on from my last video, in which I extracted data from an external weather API, using Data Pipelines in Microsoft Fabric, then loaded the raw JSON into Lakehouse Files. https://youtu.be/7zrn149sniY Next parts of the series include: - Data validation of pySpark dataframes in Fabric using Great Expectations - Visualising the weather data in Power BI. --LINK TO OPENWEATHERMAP-- Here's the API used in this tutorial: https://openweathermap.org/api --OTHER VIDEOS YOU MIGHT LIKE-- LAKEHOUSE - https://youtu.be/wb4HzFoqsU8 Data warehouse - https://youtu.be/UFF_QpHJJNQ Data pipelines - https://youtu.be/suL76brljZI End-to-end data flows project - https://youtu.be/ZmgZPhl2LRU OneLake - https://youtu.be/hQs_JxCmL0U --TIMELINE-- 0:00 Intro 1:09 Recap on the Lakehouse Files 1:40 Intro to notebook structure 2:12 Reading JSON into pySpark dataframe 4:07 Exploring the data in Azure Storage Explorer & VS Code 5:28 Parsing the JSON 8:52 Datetime conversion 9:55 Calculated columns 11:25 Rounding numbers 12:37 Code refactoring 15:Load dataframe to Lakehouse table --LINKEDIN-- Not following the LinkedIn page yet? Here's the link: https://www.linkedin.com/company/learnmicrosoftfabric/ --ABOUT WILL-- Hi, I'm Will! I'm hugely passionate about data and using it to create a better world. I currently work as a Consultant, focusing on Data Strategy, Data Engineering and Business Intelligence (within the Microsoft/Azure/Fabric environment). I have previously worked as a Data Scientist. I started Learn Microsoft Fabric to share my learnings on how Microsoft Fabric works and help you build your career and build meaningful things in Fabric. --SUBSCRIBE-- Not subscribed yet? You should! There are lots of new videos in the pipeline covering all aspects of Microsoft Fabric.

Медиафайл доступен в форматах

popular icon
Популярные
hd icon
HD видео
audio icon
Только звук
total icon
Все форматы
Показать форматыreload icon
* — Если видео проигрывается в новой вкладке, перейдите в неё, а затем кликните по видео правой кнопкой мыши и выберите пункт "Сохранить видео как..."
** — Ссылка предназначенная для онлайн воспроизведения в специализированных плеерах

Вопросы о скачивании видео

question iconКак можно скачать видео "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data"?arrow icon

    Сайт http://univideos.ru/ — лучший способ скачать видео или отдельно аудиодорожку, если хочется обойтись без установки программ и расширений.
    Расширение UDL Helper — удобная кнопка, которая органично встраивается на сайты YouTube, Instagram и OK.ru для быстрого скачивания контента.

    Программа UDL Client (для Windows) — самое мощное решение, поддерживающее более 900 сайтов, социальных сетей и видеохостингов, а также любое качество видео, которое доступно в источнике.

    UDL Lite — представляет собой удобный доступ к сайту с мобильного устройства. С его помощью вы можете легко скачивать видео прямо на смартфон.

question iconКакой формат видео "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data" выбрать?arrow icon

    Наилучшее качество имеют форматы FullHD (1080p), 2K (1440p), 4K (2160p) и 8K (4320p). Чем больше разрешение вашего экрана, тем выше должно быть качество видео. Однако следует учесть и другие факторы: скорость скачивания, количество свободного места, а также производительность устройства при воспроизведении.

question iconПочему компьютер зависает при загрузке видео "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data"?arrow icon

    Полностью зависать браузер/компьютер не должен! Если это произошло, просьба сообщить об этом, указав ссылку на видео. Иногда видео нельзя скачать напрямую в подходящем формате, поэтому мы добавили возможность конвертации файла в нужный формат. В отдельных случаях этот процесс может активно использовать ресурсы компьютера.

question iconКак скачать видео "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data" на телефон?arrow icon

    Вы можете скачать видео на свой смартфон с помощью сайта или pwa-приложения UDL Lite. Также есть возможность отправить ссылку на скачивание через QR-код с помощью расширения UDL Helper.

question iconКак скачать аудиодорожку (музыку) в MP3 "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data"?arrow icon

    Самый удобный способ — воспользоваться программой UDL Client, которая поддерживает конвертацию видео в формат MP3. В некоторых случаях MP3 можно скачать и через расширение UDL Helper.

question iconКак сохранить кадр из видео "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data"?arrow icon

    Эта функция доступна в расширении UDL Helper. Убедитесь, что в настройках отмечен пункт «Отображать кнопку сохранения скриншота из видео». В правом нижнем углу плеера левее иконки «Настройки» должна появиться иконка камеры, по нажатию на которую текущий кадр из видео будет сохранён на ваш компьютер в формате JPEG.

question iconКак воспроизвести и скачать потоковое видео?arrow icon

    Для этого понадобится VLC-плеер, скачать его можно бесплатно с официального сайта https://www.videolan.org/vlc/

    Как воспроизвести потоковое видео через VLC-плеер:

    • в форматах видео наведите курсор мыши на "Потоковое видео**";
    • правым кликом выберите "Копировать ссылку";
    • откройте VLC-плеер;
    • в меню выберите Медиа - Открыть URL - Сеть;
    • в поле ввода вставьте скопированную ссылку;
    • нажмите "Воспроизвести".

    Для скачивания потокового видео через VLC-плеер необходимо его конвертировать:

    • скопируйте адрес видео (URL);
    • в пункте “Медиа” проигрывателя VLC выберите “Открыть URL…” и вставьте ссылку на видео в поле ввода;
    • нажмите на стрелочку на кнопке “Воспроизвести” и в списке выберите пункт “Конвертировать”;
    • в строке “Профиль” выберите “Video - H.264 + MP3 (MP4)”;
    • нажмите кнопку “Обзор”, чтобы выбрать папку для сохранения конвертированного видео и нажмите кнопку “Начать”;
    • скорость конвертации зависит от разрешения и продолжительности видео.

    Внимание: данный способ скачивания больше не работает с большинством видеороликов с YouTube.

question iconСколько это всё стоит?arrow icon

    Нисколько. Наши сервисы абсолютно бесплатны для всех пользователей. Здесь нет PRO подписок, нет ограничений на количество или максимальную длину скачиваемого видео.