ノード操作の基本 

~CSVデータの取り込みと内容表示~ 

 

ノードとは? ストリームとは?

 Modelerを使う人にとって、データの加工プロセスを「ノード」単位で行っていく操作は、不慣れなものではないかと思います。

下の例は、CSVデータを取り込んで、表(テーブル)で表示するというごく簡単なプロセスです。

 Modelerでは、これらのような丸と四角のアイコンを「ノード」と呼んでいます。

 また、このような、一連のノードを通過するデータ処理の流れのことを「ストリーム」といいます。

 

 

 

このセッションでは、上図のストリームを構築する方法についてご説明します。

 

 

ノードの配置方法

 

1

CSVデータの取り込みについては、Windows上からCSVファイルをModeler画面上にドラッグすることでノードを作成することができます(CSVデータ取り込みノード)

サンプルデータ"商品A購買有無サンプルデータ.csv"を使用します。

 

2

データを表示させるための「テーブル」ノードは、画面下部分のノードパレットと呼ばれる領域からドラッグして作成します。

このときノードパレットは「出力」タブを選択してください。

 

また、CSVデータ取り込みノードの作成をノードパレットから行うには、「入力」タブを開いて「可変長ファイル」ノードを使用してください。

(その隣の「固定長ファイル」ノードは、多くの場合、使用しません)

 

二つのノードを配置したら、CSV取り込みノードをマウスの中央ボタンでクリックします。

中央ボタンをクリックすると青い矢印が作成でき、クリックしたまま「テーブル」ノードまで矢印を繋げます。

 

以上より、CSVファイルを取り込み、そのデータを表(テーブル)に表示させるシンプルなストリームを作成することができました。

 

 

以下では、ノードの設定方法と実行方法についてご説明します。

 

CSV取り込みノードの設定方法

 

CSV取り込みノード(正確には「固定長ファイル」ノード)をダブルクリックすると、下記のような画面を開くことができます。

 

CSVファイルの中身を確認するだけであれば細かな設定は必要ありませんが、場合によってはここで様々な変更を行います。

例えば、CSVの区切りは、デフォルトでは「,」となっていますが、変更する場合は、「フィールド区切り文字」のチェック箇所を変えます。

 

 

 

「テーブル」ノードの実行

「テーブル」ノードをダブルクリックして開いて、「実行」ボタンを押して実行します。

下記のようなテーブルが表示されます。

 

CSV取り込みノード設定補足:引用符の取り込み設定

 

CSV取り込みノードの設定画面で分かりづらく、しかも重要なのは「引用符」の設定だと思います。 

データによってはこの設定を適切にやらないと上手く読み込めないことがあります。

 

 

引用符というのは「”」や「’」のことです。CSVファイルの中でこれらの文字が使われている場合は注意が必要です。

例として、下記のような3レコードのCSVファイルを取り込む場合を考えます。

------------------------------------------------

文字列データ1,文字列データ2

"abc",'あいうえお'

"de'f",'かき"くけこ'

 

------------------------------------------------

Modelerのデフォルト設定では、単一引用符、二重引用符ともに「破棄」となっているので、下のように認識されます。

この場合、引用符の文字データはすべて破棄されます。

 

    <デフォルトの場合>

しかし最終的なアウトプットで引用符が必要な場合など、引用符を破棄してしまうことが好ましくないことがあります。

「破棄」から「テキストとして含む」に変更すると、下記のように表示されます。

この場合、引用符の文字データはすべてそのまま文字列として扱われます。

 

    <「テキストとして含む」の場合>

 

    <「ペアで破棄」の場合>

この場合、同じ種類の引用符がセットで破棄され、文字列の中に一つだけ存在する引用符は保持されます。

データの中身によって、これらの設定を使い分ける必要があります。