Snowflake：定義ガイド

第6章 データロードとアンロード データのロードとアンロード

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

データ エンジニアは、さまざまな異種ソースからの生データセットの取り込みと変換を管理し、実用的な洞察を得るためにエンドユーザが必要とする状態のデータを提供する責任を負う。この章では、Snowflake クラウドデータプラットフォームで最高のデータエンジニアリング結果を達成する方法について、誰もが使用できる基礎知識を提供する。

この章では、データ型、圧縮メソッド、ファイル形式タイプ、Snowflakeステージなど、Snowflakeデータのロードとアンロードの基本概念の要約から始まる。データローディングツールのセクションでは、構造化データと半構造化データの両方をロードするために、SnowflakeワークシートでSQL挿入文を使用する方法を深く掘り下げて学習する。また、Web UI の Load Data ウィザードと SnowSQL コマンドラインインタフェース（CLI）を使用してデータをロードする方法を学ぶ。データロードをより自動化するには、データパイプライン、コネクタ、サードパーティツールを使用することができる。この章の後半で、これらの自動データローディングオプションのいくつかを検討する。さらに、外部ステージでのマテリアライズド・ビューの作成や共有データへのアクセスなど、データ・ロードに代わる方法についても見ていく。最後に、Snowflakeからのデータファイルのアンロードについて説明する。

ハンズオンの例では、デフォルトのWeb UIであるSnowsightでほとんどの作業を完了する。しかし、データのロードウィザードを使用するときや、SnowSQLをダウンロードする必要があるときには、Snowflakeクラシックコンソールに短時間切り替える必要がある。作業に入る前に、まずこの章のハンズオン例に必要な準備作業を行うことにしよう。

準備作業

Chapter6 Data Loading and Unloading "というタイトルの新しいワークシートを作成する。新しいワークシートの作成についてヘルプが必要な場合は、"Snowsightワークシートのナビゲー ション "を参照する。ワークシートのコンテキストをセットするには、SYSADMINロールとCOMPUTE_WH仮想ウェアハウスを使用していることを確認する。

この章では、すべての作業を1つのデータベースで完結させる。アップロードのタイプごとに、別々のスキーマを作成する。また、すべてのCREATE ステートメントにコメントを含める。Snowsight Web UIワークシートから以下のSQL文を実行する：

USE ROLE SYSADMIN;
USE WAREHOUSE COMPUTE_WH;
CREATE OR REPLACE DATABASE DEMO6_DB
    COMMENT = "Database for all Chapter 6 Examples";
CREATE OR REPLACE SCHEMA WS COMMENT = "Schema for Worksheet Insert Examples";
CREATE OR REPLACE SCHEMA UI COMMENT = "Schema for Web UI Uploads";
CREATE OR REPLACE SCHEMA SNOW ...