header logo icon

Жүктеп алу "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data"

input logo icon
Жүктеп алу үшін өтіңіз
Бұл бейнені жүктеп алыңызUDL Client
  • Бейне mp4 HD+ дыбыспен
  • Mp3 ең жақсы сапада
  • Кез келген өлшемді файлдар
"videoThumbnail Using Fabric notebooks (pySpark) to clean and transform real-world JSON data
play-icon
Мазмұны
|

Мазмұны

0:00
Intro
1:09
Recap on the Lakehouse Files
1:40
Intro to notebook structure
2:12
Reading JSON into pySpark dataframe
4:07
Exploring the data in Azure Storage Explorer & VS Code
5:28
Parsing the JSON
8:52
Datetime conversion
9:55
Calculated columns
11:25
Rounding numbers
12:37
Code refactoring
Біздің каталогтағы ұқсас бейнелер
|

Біздің каталогтағы ұқсас бейнелер

Бейне тегтері
|

Бейне тегтері

data engineering notebook
data cleaning
data transformation
microsoft fabric
data pipeline
lakehouse
data warehouse
power bi
data engineering
ELT
ETL
open data
API
extract transform load
onelake
synapse notebook
pyspark
spark
python
azure
azure storage explorer
Сізде UDL Helper орнатылған. Бір рет басу арқылы бейне жүктеп алыңыз!
Орнатылған
үшін
Google Chrome

Сипаттама:

10+ hours of FREE Fabric Training: https://www.skool.com/microsoft-fabric/classroom/d154aad4?md=3b108b0e216c46c88d891407ccd8647b #dataengineering #python #microsoftfabric In this video, I make use of Microsoft Fabric's data engineering experience - specifically the Synapse Data Engineering Notebooks (pySpark engine) to read a JSON file in our Lakehouse Files area, parse the JSON structure, clean the data a bit, transform some of the columns and then LOAD the data into a nice Lakehouse Table. This video follows on from my last video, in which I extracted data from an external weather API, using Data Pipelines in Microsoft Fabric, then loaded the raw JSON into Lakehouse Files. https://youtu.be/7zrn149sniY Next parts of the series include: - Data validation of pySpark dataframes in Fabric using Great Expectations - Visualising the weather data in Power BI. --LINK TO OPENWEATHERMAP-- Here's the API used in this tutorial: https://openweathermap.org/api --OTHER VIDEOS YOU MIGHT LIKE-- LAKEHOUSE - https://youtu.be/wb4HzFoqsU8 Data warehouse - https://youtu.be/UFF_QpHJJNQ Data pipelines - https://youtu.be/suL76brljZI End-to-end data flows project - https://youtu.be/ZmgZPhl2LRU OneLake - https://youtu.be/hQs_JxCmL0U --TIMELINE-- 0:00 Intro 1:09 Recap on the Lakehouse Files 1:40 Intro to notebook structure 2:12 Reading JSON into pySpark dataframe 4:07 Exploring the data in Azure Storage Explorer & VS Code 5:28 Parsing the JSON 8:52 Datetime conversion 9:55 Calculated columns 11:25 Rounding numbers 12:37 Code refactoring 15:Load dataframe to Lakehouse table --LINKEDIN-- Not following the LinkedIn page yet? Here's the link: https://www.linkedin.com/company/learnmicrosoftfabric/ --ABOUT WILL-- Hi, I'm Will! I'm hugely passionate about data and using it to create a better world. I currently work as a Consultant, focusing on Data Strategy, Data Engineering and Business Intelligence (within the Microsoft/Azure/Fabric environment). I have previously worked as a Data Scientist. I started Learn Microsoft Fabric to share my learnings on how Microsoft Fabric works and help you build your career and build meaningful things in Fabric. --SUBSCRIBE-- Not subscribed yet? You should! There are lots of new videos in the pipeline covering all aspects of Microsoft Fabric.

Медиафайл пішімдерде қолжетімді

popular icon
Танымал
hd icon
HD бейне
audio icon
Тек дыбыс
total icon
Барлық
Форматтарды көрсетуreload icon
* — Бейне жаңа қойындыда ойнатылып жатса, оған өтіп, бейнені тінтуірдің оң жақ түймешігімен басып, «Бейнені басқаша сақтау...» опциясын таңдаңыз
** — Арнайы ойыншыларда онлайн ойнатуға арналған сілтеме

Бейнелерді жүктеп алу туралы сұрақтар

question icon"Using Fabric notebooks (pySpark) to clean and transform real-world JSON data" бейнені қалай жүктеп алуға болады?arrow icon

    http://univideos.ru/ бағдарламалар мен кеңейтімдерді орнатусыз орындағыңыз келсе, бейнені немесе бөлек аудио тректі жүктеп алудың ең жақсы жолы.
    UDL Helper кеңейтімі - мазмұнды жылдам жүктеп алу үшін YouTube, Instagram және OK.ru сайттарына үздіксіз біріктірілген ыңғайлы түйме.

    UDL Client (Windows үшін) 900-ден астам сайттарды, әлеуметтік желілерді және бейнехостингті, сондай-ақ көзде қолжетімді кез келген бейне сапасын қолдайтын ең қуатты шешім болып табылады.

    UDL Lite - мобильді құрылғыдан сайтқа ыңғайлы қол жеткізуді қамтамасыз етеді. Оның көмегімен сіз бейнелерді тікелей смартфонға оңай жүктей аласыз.

question iconҚай бейне "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data" пішімін таңдауым керек?arrow icon

    Ең жақсы сапа пішімдері - FullHD (1080p), 2K (1440p), 4K (2160p) және 8K (4320p). Экранның ажыратымдылығы неғұрлым жоғары болса, бейне сапасы соғұрлым жоғары болуы керек. Дегенмен, басқа факторларды ескеру қажет: жүктеу жылдамдығы, бос орын көлемі және ойнату кезінде құрылғының өнімділігі.

question icon"Using Fabric notebooks (pySpark) to clean and transform real-world JSON data" бейнені жүктеген кезде компьютерім неге қатып қалады?arrow icon

    Браузер/компьютер толығымен қатып қалмауы керек! Бұл орын алса, бейнеге сілтеме арқылы хабарлаңыз. Кейде бейнелерді тиісті форматта тікелей жүктеп алу мүмкін емес, сондықтан біз файлды қажетті пішімге түрлендіру мүмкіндігін қостық. Кейбір жағдайларда бұл процесс компьютерлік ресурстарды белсенді пайдалана алады.

question iconТелефоныңызға "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data" бейнені қалай жүктеп алуға болады?arrow icon

    Бейнені смартфонға UDL Lite веб-сайты немесе pwa қолданбасы арқылы жүктеп алуға болады. UDL Helper кеңейтімін пайдаланып QR коды арқылы жүктеу сілтемесін жіберуге де болады.

question iconАудио жолды (музыканы) MP3 "Using Fabric notebooks (pySpark) to clean and transform real-world JSON data" файлына қалай жүктеп алуға болады?arrow icon

    Ең қолайлы әдіс - бейнелерді MP3 пішіміне түрлендіруді қолдайтын UDL Client бағдарламасын пайдалану. Кейбір жағдайларда MP3 файлын UDL Helper кеңейтімі арқылы да жүктеп алуға болады.

question icon"Using Fabric notebooks (pySpark) to clean and transform real-world JSON data" бейнеден кадрды қалай сақтауға болады?arrow icon

    Бұл мүмкіндік UDL Helper кеңейтімінде қол жетімді. Параметрлерде «Бейнеден скриншотты сақтау үшін түймені көрсету» құсбелгісінің қойылғанына көз жеткізіңіз. Камера белгішесі ойнатқыштың төменгі оң жақ бұрышында «Параметрлер» белгішесінің сол жағында пайда болуы керек, оны басу ағымдағы кадрды бейнеден компьютерге JPEG пішімінде сақтайды.

question iconАғындық бейнені қалай ойнатуға және жүктеуге болады?arrow icon

    Бұл үшін сізге https://www.videolan.org/vlc/ ресми веб-сайтынан тегін жүктеп алуға болатын VLC-ойнатқышы қажет.

    VLC ойнатқышы арқылы ағынды бейнені қалай ойнатуға болады:

    • бейне форматтарында тінтуірді «Ағынды бейне**» үстіне апарыңыз;
    • «Сілтемені көшіру» түймесін тінтуірдің оң жақ түймешігімен басыңыз;
    • ашық VLC ойнатқышы;
    • мәзірден Файл - Желілік ағынды ашу - Желі таңдаңыз;
    • көшірілген сілтемені енгізу өрісіне қойыңыз;
    • «Ойнату» түймесін басыңыз.

    VLC ойнатқышы арқылы ағынды бейнені жүктеп алу үшін оны түрлендіру қажет:

    • бейне мекенжайын (URL) көшіру;
    • VLC ойнатқышының «Файл» элементінде «Ашық желі ағынын» таңдаңыз және бейненің сілтемесін енгізу өрісіне қойыңыз;
    • «Ойнату» түймесіндегі көрсеткіні басыңыз және тізімнен «Convert» тармағын таңдаңыз;
    • «Бейін» жолында «Video - H.264 + MP3 (MP4)» таңдаңыз;
    • түрлендірілген бейнені сақтау үшін қалтаны таңдау үшін «Шолу» түймесін басыңыз және «Бастау» түймесін басыңыз;
    • түрлендіру жылдамдығы бейненің ажыратымдылығына және ұзақтығына байланысты.

    Ескерту: бұл жүктеп алу әдісі бұдан былай YouTube бейнелерінің көпшілігінде жұмыс істемейді.

question iconБарлығы қанша тұрады?arrow icon

    Ештене етпейді. Біздің қызметтеріміз барлық пайдаланушылар үшін мүлдем тегін. PRO жазылымдары жоқ, жүктелген бейнелердің санына немесе максималды ұзақтығына шектеулер жоқ.