Rozdział 9. Analiza danych genomicznych i projekt BDG
Opracowanie nowej generacji sekwencjonowania DNA spowodowało gwałtowny rozwój nauk przyrodniczych w kierunku analizy danych. Często jednak wykorzystanie danych rozbija się o tradycyjne systemy obliczeniowe, oparte na trudnych w użyciu niskopoziomowych strukturach do rozproszonego przetwarzania danych i prawdziwą dżunglę quasi-strukturalnych tekstowych formatów plików.
Ten rozdział ma dwa cele. Pierwszy to przedstawienie nowych formatów plików (Avro i Parquet), znacznie upraszczających zarządzanie danymi. Techniki serializacyjne umożliwiają zapisywanie danych w zwartym formacie binarnym, przesyłanie ich przez sieć i przetwarzanie w różnych językach. Tutaj będziemy je stosować z danymi genomicznymi, ...
Get Zaawansowana analiza danych w PySpark now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
