新しいMagic ETLにアップグレードする

はじめに

DomoのMagic ETLが、新しいデータ処理エンジンと使いやすいグラフィカルインターフェースを備えた新しいMagic ETLへとメジャーアップグレードされました。新しいMagic ETLはMagic ETLとの互換性が高く、ほとんどの既存データ変換をスムーズにアップグレード可能です。今後、Magic ETLは新しいエンジンを備えた新しいMagic ETLに置き換えられ、一定期間が経過した後に古いMagic ETLの提供は終了する予定です。

新しいMagic ETLは優れたパフォーマンスと豊富な機能、高い整合性を備えていますが、パフォーマンスを優先したため、一部の機能で古いMagic ETLとの互換性が完全ではない場合があります。このドキュメントでは新しいMagic ETLに切り替えた際に想定される、前バージョンとは異なる動作について説明します。今回のバージョンアップにより大幅に改善された機能を確認する場合は、できるだけ多くのデータを使ってお試しください。

ビデオ - 新しいMagic ETLにアップグレードする

新機能を使用する

ベータ版に含まれる新機能の試用を希望される場合は、担当のCSM（カスタマーサクセスマネージャー）にお問い合わせください。

アップグレードについて

今回のバージョンアップでは内部的に大きなアップデートがありました。もしMagic ETLのパフォーマンス向上だけが目的だったなら、最新のMagic ETLをリリースする必要はなかったでしょう。しかし、開発チームはBeast ModeなどのDomoの各コンポーネントと同じレベルの高い機能性をMagic ETLでも実現したいと考えました。私たちの目標の1つは、競合する列名をユーザーによるマニュアル入力なしで、Magic ETLが解決するすることでした。新しいMagic ETLはMagic ETLとは異なる方法で、結合行と追加行における名前の競合を処理します。Magic ETL では「id_1_2_1_1」のような名前の列がよくあり、データクレンジング機能の向上がいかに重要かを多くのお客様から聞いていました。しかし、ユーザー自身が名前を選択するというプロセスなしで処理を行うことはできませんでした。

自動リネーム機能はほんの一例にすぎません。新しいMagic ETLは、Domo Beast Mode、SQLデータベース、スプレッドシートなど様々なソフトウェアに着目して開発された、200以上の機能を持つ新しいスクリプトシステムを備えています。スクリプトがMagic ETLに革新的な進歩をもたらしました。スクリプトシステムによって提供される機能は、従来の設定のタイルのクラスターをより簡潔に表現するだけではありません。時には、MySQL DataFlowを超える性能を発揮することもあります。スクリプトを使用して、列を所定の位置で編集したり、新しい列を追加したり（新しい［スクリプトを追加］タイルを参照）、［グループ化］タイルや［行をフィルター］タイルの一部として使用して複雑な集計やフィルター条件を作成できます。新しいスクリプトシステムで利用可能な、サポートされている機能の完全なリストはこちらで確認できます。

主な動作の変更

新しいMagic ETLでは変換時の動作が、Magic ETLとは異なる場合があります。そのため「列が見つかりません」や「重複した列名」などのエラーが発生したり、微妙に異なるデータが出力されることがあります。混乱を避けるため、既存のDataFlowの新しいMagic ETLへの移行時や、Magic ETLでの新規DataFlow作成時には、あらかじめ動作の違いを把握しておくことが重要です。

行をフィルター

NULL値は、比較関数によって異なる方法で処理されます。SQLおよび新しいMagic ETL DataFlowでは、nullとの比較の結果は常にnullとなり、［行をフィルター］タイルでは「false」という結果になります。新しいMagic ETLではほとんどの場合、「nullはnullと等しくない」は同時に「nullはnullと等しくなくはない」、「nullは0以上ではない」も同様に「nullは0以下ではない」、「nullは0と等しくない」ともみなされます。［行をフィルター］タイルが参照する列にnullがある場合、関数や引数に関係なく、それらの行はすべてドロップされます。nullを適切に処理できる関数は、「is null」と「is not null」のみです。Magic ETLでは、フィルターが「column = null」のテストを実行することもありました。このような場合は今後、同じ結果を得られないため、 このようなフィルターは、「is null」演算子を使用するように変更する必要があります。

フローをMagic ETLから新しいMagic ETLに切り替えた後、正常に実行されていても行が欠落しているような出力の場合は、この変更が原因である可能性があります。「等しい（＝）」関数を使用するときには特に注意する必要があります。「column <> 5」は、列の値が5の行のみを除外するように見えるかもしれませんが、実際には、上記の理由により、列にnullを含む行も除外します。次の表に、［行をフィルター］でのnullの動作の追加の例を示します。

より複雑な方法でnullを処理するには、新しいスクリプトシステムを使用します。［行をフィルター］タイルは、スクリプトの評価をサポートする3つのタイル（［グループ化］と［スクリプトを追加］が他の2つ）の1つです。IFNULL()関数は、フィルター式からnull結果を処理する場合に特に適しています。例えば、列「col」にnull値があり、「col」の値が5でない行をフィルターしてnullを保持する場合は、次の式を記述できます：IFNULL(col <> 5, TRUE)

null処理の他に、フィルタースクリプトによって簡単になるシナリオは他にも多くあります。Magic ETLでは、以下の1つのスクリプトで、それぞれ複数の条件を持つ2つの個別の［行をフィルター］タイルが必要でした。

日付と時刻の解析

入力テキストを「日付」または「日付と時刻」の値に変換処理するための、日付と時刻の解析が大幅に変更されました。新しいMagic ETLでは全般的にMagic ETLよりも厳密に解析が行われます。Magic ETLで解析したテキストの中には、新しいMagic ETL.でエラーが発生するものがあります。より厳密になった理由は、月と日を混同してしまうなど、値が気付かないところで間違って解釈されてしまうのを避けるためです。新しいMagic ETLは、正確な日付と時刻の形式の固定リストと、各国特有の多様な形式のリストを使用します（例：米国では「01/02/2020」は1月2日、その他のほとんどの国や地域では2月1日）。新しいMagic ETL が日付を解析できない場合は、列単位で［入力DataSet］タイルにカスタムフォーマットを指定できます。フォーマットの仕様については、「Java Date TimeFormatterクラスに関するOracleのドキュメント」を参照してください。

日付と時刻の演算

新しいMagic ETL では、Domoの管理メニューで指定された会社のタイムゾーンをデフォルトとして日付と時刻の演算を実行します。Magic ETLではこれを世界的標準時間である協定世界時(UTC)で実行していました。例えば、企業の所在地のタイムゾーンがアメリカ/デンバーで、日付と時刻の列で「日付の月」を使用している場合、協定世界時（UTC）ではなくデンバーのタイムスタンプを取得します。

新しいMagic ETLでは日付演算タイルのweek_OF_YEAR()関数も変更されています。日曜日を含む週が、その年の第1週となります。ここが従来とは異なる点で、Magic ETLとBeast Modeでは曜日にかかわらず、その年の最初の週が第1週となります。

週番号の表示は［スクリプトを追加］タイルで調整できます。week()関数の2番目の引数（0から7までの整数）で週番号を計算できます。これらのモードについては「OracleのMySQLドキュメント」で説明されており、Beast Modeもそれに準拠して動作します。Mode 0(またはmode引数なしのweek()は、［日付演算］タイルのweek_of_year()関数と同じ結果を返します。

結合

新しいMagic ETLの［データの結合］タイルには大きな変更が2つあります。

1. 重複する結合キー数の少ないテーブルを左結合にすることは重要ではなくなりました。Magic ETLでは重複エラーが発生して「左の入力には、10,000を超える重複が存在することはできません。」というエラーメッセージが表示されましたが、新しいMagic ETL.ではこの問題が修正されました。
2. 名前の競合は、ユーザーによる入力がないと解決できなくなりました。その代わり、［データを結合］タイルに名前の競合解決するための設定を行うセクションが追加されました。このセクションへは、自動または手動で入力できます。競合する列名の変更に加えて、［データを結合］タイルの設定で列を削除することもできるようになりました。

行を追加（Union）

古いMagic ETLでは、［行を追加］ タイルに入る2つ以上の列の名前が同じで、データタイプが異なる場合、それらの列は結合されません。その代わりに、「ID整数」や「IDテキスト」のような名前で2つ以上の新しい列が作成されます。新しいMagic ETLでは、［行を追加］タイルで列名は変更されません。タイプが異なる列の場合、同じ列名を持つすべての列のデータに対して、可能な限り最適なタイプへの変換が行われます。例えば、ある列のタイプが「整数」で、別の列のタイプが「小数」の場合、列は「小数」タイプの列に結合されます。日付と小数のようにタイプが完全に互換性のない場合、結果の列はテキストタイプになります。この動作は、［行を追加］タイル設定の新しいオプションを使用して、より厳密な動作に置き換えることができます。より厳密な動作では、同じ名前を持つ2つの列で、列のタイプが異なる場合にはエラーとなります（実行に失敗する）。

その他の検討事項

Magic ETLから新しいMagic ETLへのバージョンアップによる仕様変更だけでなく、新しいMagic ETLによる変換機能の向上についても理解することが重要です。Magic ETLユーザーが新しいMagic ETLを初めて使う場合は、ぜひ下記の操作を試お試しください。

• 新しい［スクリプトを追加］タイル ― 新しい［スクリプトを追加］タイルは200以上の関数をサポートしており、そのほとんどはMagic ETL独自の関数です。初めて［スクリプトを追加］を使用する場合は、スクリプトエディタを展開して関数リストを参照してください。
• ［入力DataSet］タイル ― 入力される列のタイプの変更、エラーやnullの処理方法の設定ができるようになりました。テキスト列のすべてのnullを空白の文字列として解釈することも可能です。
• 新しい［動的アンピボット］タイル ― 一部のシナリオでは、従来の［アンピボット］（列を折りたたむ）タイルよりも合理的に動作します。ほとんどの列をそのまま残して一部の列のみをピボットするのではなく、一部の列を除くすべての列をピボットする場合は、この新しいタイルを使用することをお勧めします。