whichn関数はwhereステートメントでも使える話とその応用をだらだら

SASを勉強中のYさんから、たとえば以下のようなデータがあって

data Q1;
X=1;Y=2;Z=3;output;
X=2;Y=3;Z=4;output;
X=1;Y=5;Z=1;output;
X=2;Y=.;Z=4;output;
run;

XかYかZのいずれかが1であるデータを抽出するとき

data A0;
set Q1;
where X=1 or Y=1 or Z=1;
run; 

といったように横にひたすらorで同じ条件を変数だけ変えて書き連ねているのですが
もっとマシな書き方ありませんかと聞かれました。

多分、かなりいくらでもあると思うのですが、最近whichn(c)関数やchoosen(c)関数が
マイブームなので

data A1;
set Q1;
where whichn(1,X,Y,Z)>0;
run;

としました。

ただし難点としては

/*エラーになる*/
data E1;
set Q1;
where whichn(1,of X--Z)>0;
run;

whereステートメントで上記のような変数指定の仕方は通らないので一括指定で
どうしても抽出したいなら

data A1_;
set Q1;
if whichn(1,of X--Z)>0;
run;

サブセット化ifにする必要があります。

でも基本的にif抽出よりwhereの方が速いので、対象が巨大なデータの場合ifはお勧めできないかもしれません。


捜索対象がnullの場合whichn(c)関数は使えないので

where X=. or Y=. or Z=.;の場合は例えば

data A2;
set Q1;
where nmiss(X,Y,Z)>0;
run;

とでもしてください。


おまけ

SAS忘備録の「関数の小技」
http://sas-boubi.blogspot.jp/2014/02/blog-post_7.html

にインスパイアされて。

もし抽出条件が

X<1 or Y>=5 or Z^=4

のようにバラバラだった場合も

data OMAKE1;
set Q1;
where whichn(1,X<1,Y>=5,Z^=4);
run;

のように引数に式を入れると、真偽結果0、1が戻る性質を利用して、こんな風にかけちゃう。

で

data OMAKE1;
set Q1;
where whichn(1,X<1,Y>=5,Z^=4)>0;
A=whichn(1,X<1,Y>=5,Z^=4);
run;

割り当てとけば、どの条件に(最初に)合致して、抽出されたデータなのか確認できるので便利かも










CHOOSEN(C)関数とCALL SORTN(C)ルーチンで、横に可変的に増える変数をソートして指定した順番にくる変数を取得する

固定されたデータが手元に完全にある状態で、プログラムを書けることは幸せです。
実際のデータをみて取りうる範囲から固定した処理がかけるからです。

しかし往々にして、手元にこないと実際どんなデータかわからない、あるいは見てはいけない、という状況で、どんなデータが来ても可変的に対応できるプログラムを書くこともあると思います。

今

data Q1;
X_1='か';X_2='あ';X_3='さ';X_4='た';output;
X_1='B';X_2='C';X_3='A';X_4='Z';output;
run;






こんなデータがあったとします。

そして非常識なことに、なぜか、このデータは横にも増える可能性があるとします。
今プログラムを組んでも、次に実行する時のデータにはX_5やX_6があるかもしれません。

そして、求められている処理は、1行ごとに、横に辞書的に並び替えて、一番後ろから2番目に並ぶ
値を特定するという、これまたよくわからない処理だとします。

縦に増えていくデータは余裕ですが、横に変数が増えていくデータはやっかいです。
ありえないと思っていても、なぜか現実にそういうデータに当たることもあるものです。

転置して縦にしてから、降順ソートして、2番をとるような処理でもいいですが、できれば構造を
変えず単純にできないかと考え、以下のコードを考えました。


data A1;
set Q1;
call sortc(of X_:);
A=choosec(-2,of X_:);
run;






一行目は「さ」がお尻から2番目の文字で、2行目はCです。

横にいくら変数が追加されてもX_という接頭語が崩れない限りはX_100までいこうが動きます。
仮に変数がX_1の一つだけでもAがnullになるだけで、エラーにはなりません。

call sortcルーチンで変数間で値をソート順に交換させて、からchoosec関数で、指定した順番にいる変数を取得します。-2とすることで、右端から2個目(つまりソートされた最大の値の一つ前)をとることができます。

たった4行で書けたので自分的には大満足です。

もし対象が数値型なら

call sortcはcall sortn
choosec はchoosenに変えてください。


/*追記*/
てか、数値型なら、そもそも smallest関数とlargest関数で、何番目の最小値、最大値とれるからソートの必要ないですね、すみません。





outputでデータセットを1オブザベーションずつ作る

ぱっとテストデータやダミーデータ等、割とどうでもいいデータセットを作りたいとき、
input cardsでデータを作るのが面倒で、僕は

data A0;
X='い';output;
X='ろ';output;
X='は';output;
run;

という書き方をよくします。SASの公式なテキストか何かでも、見たことがあるので、必ずしも筋悪ではないのかもしれません。
一行分の変数に値を割り当てるごとにoutputでオブザベーションを起こしています。
1行書いたらコピペして値を変えるだけなので、小さいデータセットだととても楽です。

ただ、よくあるのが

data A1;
X='い';output;
X='ろ';output;
X='いろは';output;
run;

みたいに書いてしまうと、







最初に格納される値で自動的に長さが設定されてしまうので、LENGTHが$2になり
3行目の値 'いろは' が文字切れします。手抜きするなら1行目に一番長い文字をあてればいいですが、まあ、素直にlengthステートメントうてばいいですね。


さて、ちょっとした問題ですが

data A2;
X=1;Y='A';Z='い';output;
X=2;Y='B';output;
X=3;output;
run;

を実行すると結果はどうなるでしょうか??


3行目のY、2・3行目のZが欠損値になると思った方は残念ながら不正解です。







新たに値を入れない限り、未割当の変数は、保持されます。







ODS OUTPUTからデータセットを作る場合に複数変数を指定したプロシジャ出力の場合に(MATCH_ALL)で変数ごとにデータセットを自動連番で分けてもらう

前の投稿に引き続きODS OUTPUTでデータセットを作る話ですが、前回の(PERSIST=PROC)と違って、今回(MATCH_ALL)については、僕はまだ実戦で使ったことはなくて、あんまりいい使いどころも見つけていません。

例えば、

data Q1;
X=1;Y=3;output;
X=4;Y=3;output;
X=6;Y=5;output;
run;







といったデータセットがあった場合

ods listing close;
ods output basicmeasures=A0;
proc univariate data=Q1;
 var X Y;
run;
ods output close;
ods listing;

とするとvarで2変数指定していますが1プロシージャの出力なので、A0の中身は当然






XとYの要約統計量が両方入ります。

しかし、今度は、1変数ずつ、データセットを分けたいけど、複数回proc univariateは書きたくないなという願望があったとします。

その場合、

ods listing close;
ods output basicmeasures(MATCH_ALL)=AA;
proc univariate data=Q1;
 var X Y;
run;
ods output close;
ods listing;

とすると

データセットAAと、AA1という2つのデータセットが作成され


















それぞれにXとYの結果が入ります。
指定した変数の数だけ、勝手に末尾に自動連番して、データセットを作成してくれます。


実戦で使ったことないのに、なんで自分はこの書き方知ってるんだろうと思って調べてみたら
2013年のSAS GLOBAL Forumの投稿で
「OUT= is on the way out. Use ODS OUTPUT instead」というPaperがあって、そこの中でのネタでした。

on the way out.、 「(1) なくなりかけて, すたれかけて.」

なかなか、きついこといいますね。面白いです。




ODS OUTPUTからデータセットを作る場合に(PERSIST=PROC)で同系の出力を1セットにまとめる。あとODS TRACEの話も

たとえば

data Q1;
do X=1 to 20;
 output;
end;
run;

data Q2;
do Y=1 to 10;
 output;
end;
run;


という2つのデータセットがあるとします。

ods listing close;
ods output basicmeasures=A0;
proc univariate data=Q1;
 var X;
run;
proc univariate data=Q2;
 var Y;
 run;
ods output close;
ods listing;

とするとデータセットA0の中身は









となり、つまりQ1に対してunivariateをかけた時のOutputしか捉えれていないです。

2つめのunivariateの結果をデータセットにしたければ、その直前に再度ods outputを打つ必要が
あります。


しかし

ods output basicmeasures(PERSIST=PROC)=A1;
proc univariate data=Q1;
 var X;
run;
proc univariate data=Q2;
 var Y;
 run;
ods output close;
ods listing;


とすると










となって2つのODS出力が、ひとつのデータセットになります。

これは後で結果をデータステップで結合する必要がなくなったりして
しっていると結構便利です。


ちなみにODS出力の名前は

ods trace on;
proc univariate data=Q1;
 var X;
run;
ods trace off;

としてods trace on offで挟んで対象プロシジャを実行すると、ログに




























これの「名前」の部分を ods outputの後につけて、=作りたいデータセット名でOK。

もっと単純に
























結果のところで、データセットにしたい部分をクリックして右クリック
「名前の変更」で
















コピペできます。


rename X_1-X_4=Y_1=Y_4 みたいな連番一括指定

大した話ではないです。

data Q1;
X_1=1;X_2=2;X_3=4;X_4=4;
run;




みたいなデータセットがあって、X_の部分を全部Y_にリネームしたいなと思って

data A0;
 set Q1(rename=(X_1=Y_1 X_2=Y_2 X_3=Y_3 X_4=Y_4));
run;

みたいな処理を書いていたんですが、

data A1;
 set Q1(rename=(X_1-X_4=Y_1-Y_4));
run;

でいけるんですね。

もちろんデータセットオプションじゃなく

data A2;
 set Q1;
 rename X_1-X_4=Y_1-Y_4;
run;

でもいけます。





renameステートメントにコロンモディファイアを使えなかったので、てっきり連番指定も無理だと
思いこんでいたら、そんなことなかったです。損してました。


書籍案内⑩_SAS Macro Language Magic: Discovering Advanced Techniques

SASマクロ、あまり得意ではないです。
マクロのクォートやマクロ変数のグローバル・ローカルなど、まあなんとなく理解していて、自分で使う分には困らなかったのですが、人に筋道立てて教えることができずに、やっぱりきちんと理解できてないなと思いました。そこで、この度マクロともう一度真剣に向き合おうと決意して、
「SAS Macro Language Magic: Discovering Advanced Techniques」を購入しました

書名「SAS Macro Language Magic: Discovering Advanced Techniques」
出版日:2013/8/30
出版社 Sas inst

題名からなんとなく感じていましたが、やっぱり予想通り、読んでいて難しいです。つらいです。基本的にテーマごとにExampleコードが提示されていくのですが、どんどんよりスマートな書き方や応用に進化させていく感じで、最初の方は、わかるわかる、知ってる知ってるって感じなんですが、少し読み進むと、ん?よくわからん、最後らへんには、おぁ~あ?何だこれって感じになります。

特にCall executeの性質や応用について、今まで読んだ本、論文も含めて一番深い説明で、感動しました。でもなかなか自分一人じゃ、こんな風にさらさら思いついて書けないなぁ~とは思いましたが。

マクロをきちんと理解したい方、もう一歩上にレベルアップしたい方にお勧めです。

また、マクロ本なのに、「こういう処理は敢えてマクロにせずにデータスッテプでこんな風に書いた方がいいよ。無駄なマクロ書くなよ」ってデータステップの高度な書き方も教えてくれるところが好感持てます。

ただ、僕は通勤中にSAS本やユーザーフォーラムの論文を読むこと多いのですが、他の本の場合は、コードを読むとだいたい頭の中でデータステップをなんとなく想像できるのですが、この本は実際、実行しながらじゃないと僕には理解が難しかったです。
電車の中で読んでいて、コードじっと見すぎて、気持ち悪くなって、あと一歩で吐きそうになりました。。

相変わらず下手な書評ですが、参考まで。