Kurt Rossmann Laboratories

or Radiologic Image Research

 

Home
Up
History
Research Summary
ROC Software
Publications
Contact Us

 

 

 

LABMRMCの使用方法

観察者間および試料間変動を考慮したROC曲線間の統計的検定(Jackknife法)のソフトウエア

ここでは,観察者間および試料間変動を考慮したROC曲線間の統計的有意差検定(Jackknife法)のソフトウエアLABMRMCの使用方法について紹介します.Jackknife法については,その原著(文献1)または,日放技学会誌に掲載されている解説論文(文献2)を読んでいただければ,その理論を理解して,実際に計算をすることができるのですが,計算にすごく手間と時間がかかるので,この統計処理を行うソフトウエアの開発が望まれていました.LABMRMCは,1997年にアイオワ大学のDr. DorfmanとDr. Berbaum,そしてMetz教授によって開発されたソフトウエアで,当時,一般的であったWindows95の使用環境で動作が確認されています.実際に私が使用した経験では,Windows XPまでのWindows環境で正常に動作し,それらのシステムが正常に動作している環境(メモリやCPUなど)では,問題なく動作すると思われます.LABMRMCは,ROCKITやLABROC4といったROC解析ソフトと同様に左のメニューの中にあるROC Softwareからダウンロードすることができます.ソフトをダウンロードする場合には,まず,名前,所属,e-mailアドレスといった情報を登録します.そして,その後に,登録したe-mailアドレスに送られているUser IDを入力することによって,ダウンロードサイトに進むことが出来ます.LABMRMCはフォルダごと自動解凍型のファイルになっていますので,それをダウンロードして,自分のPCでダブルクリックして解凍すればすぐに使用できるようになります.フォルダの中には,英語版ですがユーザーズ・ガイドも含まれていますので,それを参照されると,ここで紹介しているよりも,もう少し詳しいことがわかると思います.

言うまでもありませんが,LABMRMCは,複数の観察者で行われた複数のモダリティ間のROC実験について,各観察者の各モダリティにおけるROC曲線のカーブフィッティングを行い,その上で,複数のモダリティ間,または観察者間の統計的有意差検定を行うソフトウエアです.ここで取り扱う観察者の評定データは連続確信度法で得られたものに限られ,少なくとも2人以上の観察者で2つ以上のモダリティについて得られた評定データが必要です.また,観察者および試料のグループは2つ以上のモダリティ間で同一である必要があります.つまり,同じ観察者グループで同じ患者グループのデータについて行われた複数のモダリティに対する連続確信度法ROC解析の実験結果がある場合にだけ,LABMRMCを使用することが可能になります.また,現時点では,LABMRMCで計算できる最大の観察者数は10名となっています(ただし,近日中に40名程度までの計算が可能なようにバージョンアップされる予定です).

1) 入力ファイルの作成

Fig. 1に示したのは,観察者3名で,試料20枚(信号あり10枚,信号なし10枚)を,モダリティ2つ(Treat1,Treat2)について連続確信度法ROC解析で行った場合の評定データをLABMRMCに入力するための入力データファイルを示しています(シミュレーションデータ).入力ファイルはテキストファイルで,最初の行にデータの名前,次の行に観察者名,そして,その次の行からはモダリティの数だけ,タブ,またはスペースで間を空けて,名前,次の行にPositiveデータの大小(値が大きいほどPositiveの場合にはL,小さい場合にはSと入力します),Negative(信号なし)像に得られたスコア,アスタリスク(*),Positive(信号あり)像に得られたスコア,アスタリスク(*)の順に入力します.そして観察者名から2つ目のアスタリスク(*)の部分を,観察者の数だけデータを並べて,データの最後に#を入力して終わりです.ここで注意していただきたいのですが,スコアの配列は,各観察者,各モダリティで同じ試料に対応するようにしてください.つまり,スコアの2番目のデータが試料2から得られたデータであるとすると,すべての観察者,すべてのモダリティについても,スコアの2番目のデータは同じ試料2から(ただし,違うモダリティで)得られたスコアである必要があります.

2) LABMRMCの実行

LABMRMCの実行は非常に簡単です.ダウンロードして解凍したフォルダの中にあるlabmrmcというアイコンをダブルクリックすると,自動的にLABMRMCが立ち上がって,入力画面が開きます.最近の一般的なソフトと違い,LABMRMCは昔ながらの英数字を入力してプログラムを実行するタイプのソフトですので,少し戸惑うかもしれませんが,すぐに慣れると思います.

LABMRMCを実行すると,まず;

Do you want to use data from a previously created input file for the next run? (Y/N, R to restart, or Q to quit)

と尋ねてきますので,“y”(Yesの意味です)と入力して,表れたダイアログから,前述の要領で予め作成しておいた入力ファイルを選択します.すると,次に;

Do you want to create an output file? (Yes/No, or R to restart)

と出力ファイルの保存について尋ねてきますので,これも“y”と入力して,表れたダイアログに適当な出力ファイル名を入力します.この時点でLABMRMCは自動的に計算を始めて,画面にずらずら・・と計算結果が出力されて,最初の質問に戻ります.これで計算は終わりです.後は,出力された出力ファイルの中身を読んで計算結果を見るだけです.もし,計算がうまく行かないと表示された場合には,入力ファイルの作成に問題がある場合が多いので,もう一度,入力ファイルに間違いがないかどうかを確認してください.よくある間違いは,英数字でない全角文字が入っている,“*”を忘れている,改行されていない,モダリティの名前に“”がついていない,などです.それ以外にも,ROC実験データそのものが良いデータではない(例えば,0-100のスコアなのに100と0ばかりのデータしかない,試料が簡単すぎてAzが1.0になっている,など)場合にも上手く動作しませんが,この場合は,ROC実験そのものがおかしいということなので,救いようがありません.

3) 出力ファイルの読み方

LABMRMCの出力ファイルはテキストファイルですので,ソフトの実行の場合に指定したファイル名の出力ファイルを,適当なワープロで開いて読むようにします.出力はすべて英語で,文字と文字の間にはスペースが使われていますので,等幅フォントで読むようにすれば,数字がずれません.

Fig. 2からFig. 5に示したのは,Fig. 1に示した入力ファイルをLABMRMCに入力して得られた出力ファイルから抜粋したものです.以下にそれぞれ,図の数字をつけた部分に対応させて,その内容を説明します.

1.      LABMRMCを実行した日付,データの名前(入力ファイルの最初の行に入力したもの),一人目の観察者についてのモダリティ1の結果(もし,ここで,入力ファイルに入力したものと違う名前が出力されている場合は,入力ファイルの書式に間違いがあります).

2.      入力ファイルのディレクトリ名とファイル名

3.      入力ファイルに含まれているスコアは,値が大きいほどACTUALLY POSITIVEである,ということを示しています.図に示したのは,入力ファイルでLと入力した場合です.そして,その下に示されている数字が実際に入力されたNegative CasePositive Caseの数です.

4.      ここに示されているのは,プログラム内で最初に行われたカテゴリ分類後のROC曲線のプロット座標(OPERATING POINTS)です.この時点では,両正規分布による推定は行われていないので,この数値はあまり参考にはしないで下さい.今回の例では,試料数が10+10と少ないので,カテゴリ分類は5段階ですが,試料数が増えることによって,自動的に20段階までのカテゴリ分類が行われます.なお,この4から9までのデータについては,観察者1(ここではReader 1)についての結果だけが示されています.

5.      両正規分布の推定による最大尤度比推定の結果,最終的に得られたROC曲線の両正規パラメータA,B(文献3を参照)を示しています.

6.      5.で示された両正規パラメータAおよびBを推定した場合の標準誤差を示しています.

7.      両正規分布による推定,およびWilcoxonの台形近似によって得られたROC曲線下の面積とそれぞれの値を推定した際の標準誤差が示されています.

 

 

8.      観察者1についての,両正規ROC曲線の横軸の値であるFPFと,縦軸の値であるTPF,それに各FPFにおけるTPF95%信頼区間を示しています.

9.      ここに示されているCritical Test Results Valueとは,実際に入力されたスコアのレンジに対応した値で,観察者が示したスコアがROC曲線上のどのポイントを意味しているかを示しています.例えば,図に示したデータの場合,観察者1が示した46.5というスコアは,TPF = 0.75 (これは感度79.5%に相当),FPF = 0.008(これは特異度 99.2%に相当)であるということを示しています.

 

 

ここまでの4.から9.の出力は,LABMRMCに入力する観察者の数Xモダリティの数 だけ繰り返されます.基本的に,これらの出力は通常のROC曲線のカーブフィッティングプログラムであるLABROCやROCKITと同じものです.

次に,LABMRMCの肝心の働きである,観察者&モダリティ間の統計的有意差検定の結果を示した部分の出力について説明します.10.から以降の部分は出力ファイルの最後の方で出てきますので,注意して探してください.

 

10.  Jackknife法を用いた統計的検定結果を示す部分の最初には,このLABMRMCは,Dr. Dorfmannによって開発されたカテゴリ分類データのためのJackknife法のソフトウエアMRMC-ANOVA(現時点では公開されておらず)をサブルーチンとして用いている,ということが示されています.

 

11.  この付記は,“疑似値:pseudovalues”が,その値の実用範囲内に帰するように強制的に作成されたか,またはそうでなかったか,を示しています.この例の場合は,後者を示しています.

 

12.  ここに示される7列X 8行のTableは,列方向に,変動成分,偏差平方和,自由度,平均平方,F分布の比,F分布の上側確率,判定(95%信頼区間推定で統計的有意差が認められた場合に,この最後の列に“Sig”と表示されます),が示され,行方向には,全体(Total),モダリティ間(T),試料間(C),観察者間(R),モダリティ-試料間(TC),観察者-試料間(RC),そしてモダリティ-観察者-試料間(TRC)の変動成分が示されています.この部分がLABMRMCの出力の一番肝心な部分で,一番わかりにくい部分でもあると思われますので,もう少し説明を加えます.説明を簡単にするために,この例で用いた3名の観察者,20枚の試料,2つのモダリティで考えると,実際にLABMRMCで求めたいのは,2つのモダリティ間の統計的有意差です.ところが,この2つのモダリティ間の値の差には,観察者間,および試料間の誤差変動が含まれているはずですので,それらを差し引いて考えないと,2つのモダリティ間の統計的有意差を計算することができません.そこで,このTableで示されている個々の数値は,そういった個々の変動成分に対する統計量を表しています.具体的に述べると,例に示したデータでは,試料間(C)とモダリティ-試料間(TC)に統計的な有意差が認められるという結果が示されています.これは,試料間の変動が大きかった(簡単に言えば,検出が楽な試料から難しい試料までが混在していた)ということで,通常のROC解析実験では,当然のように有意差ありと表示されます.また,観察者間(R)では,統計的な有意差がないという結果が示されていますが,これは,この例のデータでは観察者間に能力の差が少なかったということを示しており,通常のROC解析実験では,有意差が出る場合と出ない場合とがあります.そして,これらの各変動成分の統計量を考慮して,モダリティ間(T)の統計的有意差が計算されるのですが,この例では,*印が表示されて計算されていません.この説明は次の13.で行います.

13.  LABMRMCは2元配列の分散分析を行うのですが,この分析法では,そこに含まれる2元配列の変動成分の分散は,母分散より小さくなるのが普通で,そのF分布の比は1より小さくなければF検定を実行することができません.そのため,この例に示したようにモダリティ-試料間(TC)または観察者-試料間(RC)のF分布の比が1より大きい場合には,Satterthwaiteの近似法を用いて,仮の自由度を計算し,F検定を行います.その結果がここに示された数値です.個々の数値は12.で示したTableの数値と同じ意味で,最後の部分の“THE SATTERTHWAITE F RATIO HAS A PROB. VALUE OF 0.0280”がモダリティ間の統計的有意差検定の結果を示しています.つまり,この場合は95%の信頼率で統計的有意差があり(P=0.0280),という結果が示されています.ですから,LABMRMCを実行した場合は,この数値(0.0280),またはSatterthwaiteの近似法を用いない場合に表示される12.に示したTableの中のTのPROB.がモダリティ間の統計的有意差を示すP値となります.

14.  観察者-試料間の1元分散分析の結果を示しています.

15.  LABMRMCが2つのモダリティ間の統計的有意差検定のために用いられた場合,ここで示したように,2つのモダリティについてのAz間の95%信頼区間(文献2参照)とその標準偏差が示されます.この例では[THE 95% CONFIDENCE INTERVAL FOR THE POPULATION MEAN DIFFERENCE FOR TREATMENT 1 MINUS TREATMENT 2 IS (0.0276,0.4073)] となっていますので,2つの値0.0276と0.04073の95%信頼区間の間に0が含まれていない,つまり統計的有意差がある,ということになります.

 

 

16.  同じように,LABMRMCが2つのモダリティ間の統計的有意差検定のために用いられた場合には,各観察者についてのモダリティ間の統計的有意差検定(CORROC)が行われ,その結果の95%信頼区間がここに示されます.

 

以上が,LABMRMCを実行する場合の方法と,出力ファイルのデータの読み方です.統計的な意味が十分に理解できていないと,これらのデータを正確に理解して使うことは困難ですが,ここで説明した内容が理解できるのであれば,ROC実験の統計的検討の結果として,LABMRMCのデータを用いることが可能でしょう.ただし,何度も繰り返しますが,ROC解析を用いた観察者実験は,観察試料を用意する時点から,十分に色んなことを考慮して行わないと,本当に意味のあるデータが得られたとは言えません.せっかく,忙しい放射線科医の先生方(またはそれ以外の医師や放射線技師さん達)にお願いして実験を行うのですから,後で間違いが見つかることのないように,十分に注意を払って実験を計画していただきたいと思います.

 参考文献

1) Dolfman DD, Berbaum KS, Metz CE. ROC rating analysis: generalization to the population of readers and cases with the jackknife method.  Invest Radiol 1992; 27:723-731.

2) 白石順二, 宇都宮あかね; ROC解析における画像システム間の統計的有意差の検定方法-Jackknife法とその適応-, 日本放射線技術学会誌, 53(6), 691-698, 1997

3) 藤田広志 編著,白石順二, 他,; ROC解析の基礎と応用(2)「ROC解析の実際」, 放射線医療技術学叢書, 日本放射線技術学会,8, (1994)

 


 

 

 

Home | Up | History | Research Summary | ROC Software | Publications | Contact Us

This site was last updated 01/12/06