文字操作関数の戻り値がデフォルトで$200になるルールは必ずしも成立しないから気をつけろという話

いつも以上にマニアックな話ですが、最近発見したことを書きます。
場合によっては予期せぬ結果を生む可能性のある仕様についてです。

ログにあるメッセージをだしたいので、まず msglevelをi にしておきます。
options msglevel=i;


以下のデータセットがあったとします。

data Q1;
X='A';
run;


そこで

data A1;
set Q1;
Y=repeat(X,100);
Z=repeat('A',100);
run;

と書いて実行します。

YもZもやっていることは同じで、文字値'A'を100回繰り返して
「AAAAAAAAA・・・・・・」といった値を入れています。

Y,Zについて、lengthを指定していないため



いつものようにデフォルト$200ルールが適用されます。














さて、ここまではそれでいいのですが、次に

proc sql noprint;
create table A2 as
 select repeat(X,100) as Y
        ,repeat('A',100) as Z
 from Q1;
quit;

を実行するとどうなるでしょうか?

僕はてっきり、先のコードと全く同じ結果になると思っていましたが実際は















変数X由来のYについては長さは200ですが
定数から直に作ったZの長さは200になってません!データステップなら
なっていたのにです!
ちなみにログには何もでません。


SQLで、多数の抽出結果をunionで縦に繋ぎまくる処理を書いている際、
文字切れが生じていて初めて発見しました。


9.2から、lengthの違う変数をSETで縦結合した際、「WARNING」がでるようになりましたが
(ちなみにoptions varlencheck=nowarnででなくもできまし)、

SQLプロシジャ内のunionだと文字切れが生じていてもおかまいなしなので
ゆめゆめ気をつけましょう。

文字切れは怖い













_DATA_の話

ちょっとしたお遊び、クイズです。

以下のプログラムを実行すると、どんな結果になるでしょうか?


data _DATA_ _DATA_ _DATA_;
 X=1;
run;


正解は


















正解は「Data1」「Data2」「Data3」が同じ中身で作成されるでした。



さらにもう一問、

data _DATA_ _DATA_ _DATA_;
 X=1;
run;

と同じプログラムを実行すると今度はどんな結果になるでしょうか?







正解















中身はまた同じなので省略しますが「Data4」「Data5」「Data6」ができます。


さらにもう一問最終問題!


proc delete data=_all_;
run;

とWORKのデータセットを全て削除し











その上でまた

data _DATA_ _DATA_ _DATA_;
 X=1;
run;

と実行するとどうなるでしょうか?





正解は













「Data7」「Data8」「Data9」ができます。




ちなみに

data ;
 X=1;
run;

とdataの後を省略した場合、デフォルトで_DATA_が指定されます。
「どうてもいい話 データセット名をかかずに実行」で触れていました。
http://sas-tumesas.blogspot.jp/2013/10/blog-post_1261.html


数値(文字)変数にのみ一括で特定の値を割り当てる話

直接ご質問いただいた内容へのご回答になります。

データセット中の文字型変数の値はそのままで、数値型変数のみ全て1に置き換える処理を書きたいのですが、指定するデータセットに含まれる数値変数の数や名前は可変で、全てが文字型変数であることも考えられる状況です。エラーにならない方法を教えてください。
また、欠損値にする方法もあれば併せて教えてください。

といった内容でした。

多分、他にも方法ありそうなんですが、僕がぱっと思いついたのは

data Q1;
X=2;Y='A';Z=3; output;
X=1;Y='B';Z=4; output;
run;






といったデータセットがあったとして

data A1;
 set Q1;
 array AR _numeric_;
 do over AR;
  AR=1;
 end;
run;






でいかがでしょうか?数値変数のX Zだけ値が変わってます。

「非明示添字配列と do over LOOPの利用」
http://sas-tumesas.blogspot.jp/search/label/do%20over

で紹介した方法を応用しています。

_numeric_(省略形は、_num_)はデータセット中の全ての数値変数、
_character_(省略形は、_char_)は文字変数、
_all_は文字通り全てです。
ちなみに、仮に全てが文字型変数で、数値型がなかったとしてもエラーにはなりません
「WARNING: 要素なしで配列を定義します。」はでますが。



次に、欠損値ということなら、配列組むまでもなく

data A2;
set Q1;
dummy=.;
call missing (of _numeric_);
drop dummy;
run;

でいけます。

dummyをかましているには、この場合は、数値変数が全くないと、引数不足でcall missingが
エラーになっちゃうからです。








SQL optimizerで実行アルゴリズムを強制する

SASにはSQL optimizerという概念というか機能みたいなものがあります。

以下は僕の独自解釈なので、詳しくはリファレンス等でご確認ください。

SASはproc sqlで指定したSQL文を実行してくれるのですが、一口にSQLを実行すると言っても
内部的に処理するアルゴリズムはたくさんあって、その中からSASが、
このデータセットに対してこのSQL文なら、こういう風にやれば最適なパフォーマンスが出るぜ!と判断した
方法が採用されます。

データセットに適切なインデックスが設定されている場合にjoinなどを使うと、インデックスが利用されますが
これはSASのSQL optimizerがインデックスマージが一番効率的だと判断するからです。

ただ、その判断が必ずしも正確無比とは限りません。たまに最適ではない方法を採用してしまうことも、理屈的には
ありえるわけです。

なので、書いたSQL文の実行が、やけに遅いなと感じたら、実行法をSQL optimizerに判定させるのではなく強制的に
指定してやることで、ごくごくごく稀にパフォーマンスがよくなることがあります
(ほとんどの場合、SQLが遅いのはそいつのSQL文の書き方が悪いだからで、SQL optimizerの判断ミスは少なく
ケチをつけるよりSQL文を見直すかデータステップで頑張った方がいいかも)

以下、実例です。
magic=オプションで決まった数字を足すだけです。

ログに採用された方法がでるはずです。
103はでないのですが確かハッシュ法?だった気がします。


data Q1;
X=1;Y=2;output;
X=2;Y=3;output;
X=3;Y=4;output;
run;

data Q2;
X=2;Z=3;output;
X=3;Z=4;output;
run;


proc sql magic=101 noprint;
create table A1 as
 select Q1.X,Y,Z
 from Q1 left outer join Q2
 on Q1.X=Q2.X;
quit;

proc sql magic=102 noprint;
create table A1 as
 select Q1.X,Y,Z
 from Q1 left outer join Q2
 on Q1.X=Q2.X;
quit;

proc sql magic=103 noprint;
create table A1 as
 select Q1.X,Y,Z
 from Q1 left outer join Q2
 on Q1.X=Q2.X;
quit;

以上です。


ODS tagsets.excelxpでエクセルの関数式を仕込む

odsでエクセル(xml)ファイルを作成する際、以下のように書くことで
作成されるシートにエクセル関数を仕込むことができます。

data Q1;
X=1;Y=3;output;
run;


ods tagsets.excelxp file='D:\TEST.xls';
proc print data=Q1 noobs;
 var X Y;
 var X / style={tagattr="formula:sum(RC[-1]:RC[-2])"};
run;
ods tagsets.Excelxp close;









上の例だと、そんなもんデータステップで計算してからだせよって感じで終わりですが
例えば、VLOOKUP関数で他のエクセルからデータ持ってくるようにするとか、シチュエーションに
よってはエクセルの特性を活かすことができます。



ODS CSVとODS CSVALLと ODS tagsets.CSVBYLINEの違い

CSV、ファイル形式としてあんまり好きじゃないですが、やっぱり、CSVでデータ送ったり送られたりは避けがたい時があります。

SASからCSVを作る方法はたくさんあって、fileステートメントとputでもいいし、EXPORTプロシジャでもいいし、%DS2CSVっていうデフォルトで用意されているマクロを使ってもできます。

で、一口にCSVといってもクォート文字で包んだり包まなかったり、変数を1行目にだしたりださなかったり、区切り文字をカンマ以外にしたり(そしたらCSVとは言わないか)とか色々あって、また改行コードが入ってたり、欠損があった場合とかして、読み込むのも吐き出すのも結構奥深い世界です。詳しくないです。

うまく読み込めなかったり、吐き出しが変なところで改行されて崩れたりして、イーってなることは日常茶飯事です。単純な作業のはずなのにうまくいかないのが余計むかつきます。

今回紹介するのはODSで作っちゃうパターンの話です。

ところが、一口にODSでCSVといっても、実はいくつか選択の幅があります。その話です。

data A;
X=1;Y=1;Z='い';output;
X=1;Y=2;Z='ろ';output;
X=2;Y=3;Z='は';output;
run;

ods csv file="D:\SAMPLE1.csv";
ods csvall file="D:\SAMPLE2.csv"  ;
ods tagsets.csvbyline file="D:\SAMPLE3.csv"  ;
proc print data=A noobs;
run;
ods csv close;
ods csvall close;
ods tagsets.csvbyline  close;

上のコードは、printプロシジャの出力を3種類の形式でCSVファイル化しています。

以下、実際作成されるCSVの中身です

【ODS CSV】










【ODS CSVALL】












【ODS tagsets.csvbyline】











tagsets.csvbylineの特徴がわかりにくいので

ods csv file="D:\ods_CSV.csv"  ;
ods csvall file="D:\ods_CSVALL.csv"  ;
ods tagsets.csvbyline file="D:\TAGSETS_CSVBYLINE.csv"  ;
title "プロシジャのタイトル";
   proc print  data=A NOOBS;
   by X;
   run;
ods csv close;
ods csvall close;
ods tagsets.csvbyline  close;

とタイトルとbyつけてみます。


【ODS CSV】












【ODS CSVALL】

















【ODS tagsets.csvbyline】














って感じです。

まあ、実際、そんな変則的な出力を敢えてCSV形式でださなければいけないシチュエーションって
なんだろうって気がしますが。



PUTN(PUTC)関数の話

多分、基本的な関数として知っている人が多いかもしれませんが
あまり紹介されている書籍が多くない気がするのでPUTN(PUTC)関数の紹介です。
(確か以前、SAS Technical NewsのQAで見た気がしますが)

proc format;
 value UMU 1='有'
           2='無'
          ;
 value SEX 1='男'
           2='女'
          ;
run;

上記のようなフォーマットがあったとします。

そして

data Q1;
X=1;FMT='SEX';output;
X=2;FMT='UMU';output;
X=1;FMT='UMU';output;
X=2;FMT='SEX';output;
run;








このようなデータセットがあり、変数Xの値に対して
どのようなフォーマットをあてるかが、変数の中に値(フォーマット名)で
格納されているとします。

そうした場合以下のようにPUTN関数に、文字化したい変数と、対応するフォーマット名の格納された変数を指定します

data A1;
 set Q1;
 Y=putn(X,FMT);
run;







で、これの文字フォーマット版がPUTC関数です。

逆に指定したインフォーマットで値を読み込みたい場合は
INPUTN INPUTCを使います。