Kurt Rossmann Laboratories

or Radiologic Image Research

 

Home
History
Research Summary
ROC Software
Publications
Contact Us

 

 

 

Topics and News

ROC解析の問題点を補うためのLROC解析

1. はじめに – ROC解析の問題点-

今日では,さまざまな放射線医用画像の領域で用いられるようになったROC解析ですが,ROC解析が世に出た当初から,言われ続けている問題点がROC解析にはいくつかあります.それらの中には,病変のあるなしを判定しているにかかわらず,観察者はその位置を示さなくても良いので,もし観察者が間違って同じ画像の中の違う場所を病変と思って“病変がある”と回答した場合でも,それは正しい反応(True Positive Response)と見なされる,ということや,一つの試料に信号(病変)は一つと限定されているので,実際には複数存在することの多い臨床例を用いることができない,ということの2点が含まれます.実際には,前者のようなケースは試料の数を増やすことによって影響が小さくなりますし,ROC実験を行う場合に観察者に実験試料の性質(特異性)について十分な説明を行うことで,後者のバイアスを減らすことが可能です.しかしながら,昨今のように,より実際の臨床に近い状況(設定)での評価が求められるようになってくると,そういったROC解析が抱える問題点を無視してばかりもいられなくなってきました.そこで,最近はそれらのROC解析の問題点を補うという意味で,LROC(ROC-type curve for task of detection and localization)[1]とFROC(free-response receiver operating characteristic)[2-4]という2つの解析法が以前よりも頻繁に話題に上がるようになってきました.

LROCはROC解析を開発したのと同じシカゴ大学のグループによって開発された解析法で,理論的背景はROC解析とほぼ同じと考えられます.しかし,FROC解析は名前は似ているものの,ROC解析とはだいぶ内容が異なっており,理論的背景や表示法がROC解析とは異なります.ここで注意していただきたいのは,どちらの解析法も,ROC解析と同じくらい古くからあるのに,ROC解析ほど普及していない,ということです.その理由は,このどちらの解析法もROC解析のように,ROC曲線のカーブフィッティングを行うための統計的推定法や,曲線間の統計的有意差の検定を行う手法が確立していないためだと思われます.確かに,LROC解析とFROC解析のどちらについても,それらの手法を開発,提案する論文が報告されていますが[5,6],それらはいずれもまだ確証されたものではありません.どちらの解析法の場合も,一番の問題点は,曲線を推定するのに用いるデータ点が,観察者によって異なるというところにあります.つまり,ROC解析では,同じ試料を用いた観察者実験であれば,評価点の数も対象もすべての観察者について同一ですが,上記の2つの解析法では観察者によって,データの数や対象が違ってしまう可能性が高くなります(もちろん,まったく同じになる場合もあります).そのため,現時点においては,観察者実験にLROCまたはFROC解析だけを単独で用いることには,統計的有意差検定が困難である,というROC解析よりも大きな問題点があります.

そこでこれらのジレンマを解決するために,シカゴ大学のわれわれの研究グループでは,以前から通常のROC解析の観察者実験を行う際に,観察者に病変の位置を示してもらう方法を採用し,ROC解析と同時にLROC解析のための実験も行うようにしています.つまり,ROC解析で必要十分なデータを求め,統計的有意差検定を行い,その上に,さらにROC解析のデータを補足する意味で,LROC曲線を計算して示す,という2段構えの実験を行っています.今回のUsers Group Newsでは,多くの方にこういった実験方法を学んでいただくために,まず,簡単にLROCの理論について述べ,その後に,通常のROC実験データと観察者が示した位置情報から,ROCKITといったROCカーブフィッティングプログラムを応用して,LROC曲線をプロットする方法について解説します.

 

2. LROC解析の理論[1]

ROC解析では,実際に存在する信号sについて,正しく信号Sが存在すると検出する確率PD(S|s) [真陽性率 (TPF: True Positive Fraction) ] を,判断基準という閾値を変化させて求めています.しかし,LROCでは,実際に存在する信号sについて,正しい位置CLで,正しく信号Sであると検出する確率PDL(S,CL|s)と,間違った位置ILで,正しく信号Sが存在すると検出する確率PDL(S,IL|s)の2つを考慮しています.ここで,ROC解析とLROC解析のそれぞれの確率は,以下の式で関係付けることが出来ます.

 

PD(S|s)=PDL(S,CL|s)+PDL(S,IL|s) -- (1)

 

 LROC解析において,実際に信号が存在するにかかわらず,位置の検出が間違っていた試料のスコアは,”間違って信号が存在しない” (FN: False Negative)と判定した結果として見なされます.そして,そのFNの確率は偽陰性率(FNS:False Negative Fraction)で定義されており,これがPDL(S,IL|s)に同じ意味を持ちます.つまり,刺激-反応マトリックスの理論においては,ROC曲線の縦軸を示すTPFは,TPF=1-FNFで定義されていて,通常のROC解析ではFNF=0で,TPFは1.0で収束するのですが,LROC解析では,前述のようにFNFは0ではなく,通常は0以上の値となりますので,LROC曲線の縦軸のTPFは,ほとんどの場合,TPF<1.0となります.もう少し具体的に述べるならば,100枚の信号像があった場合,ROC解析では,最終的にそこに含まれる100個の信号全部が検出されたと見なして計算されるので,最終的なTPF(感度)は1.0(100%)になるのですが,LROC解析の場合は,位置が正しく検出されなかった信号は,TPFにはカウントされませんので,例えば,100個のうち,10個の信号の位置が間違っていたとしたら,最終的なTPFは,0.9にしかなりません.

 

3. ROC解析ソフトを用いたLROC曲線の推定

 通常のROC曲線をソフトウエア(ROCKIT)を用いて推定する場合,ROCKITで算出されるTPFは,前述の(1)式に示したPD(S|s)の積分値を,信号を含む試料数で標準化したものとなります.そして,同様にLROC解析で算出するTPFは,PDL(S,CL|s)の積分値を信号を含む試料数で標準化したものとなります.しかし,LROCにおけるPDL(S,CL|s)も,ROC解析におけるPD(S|s)と同様に正規分布になるということが,理論上では仮定されていますので,両正規分布ROC解析の理論を用いてカーブフィッティングを行うことは可能です.つまり,前述の例を用いるとすれば,100枚の信号像を用いた実験で,正常像も100枚とすると,ROC曲線を計算する場合には,信号像100+正常像100のすべての画像に対する評価点を用いて計算し,LROC曲線を計算する場合には,その下準備として,まず,位置が間違っていた10枚の信号像の評価点だけを除いた,信号像90+正常像100の画像に対する評価点を用いて通常のROC曲線を計算するようになります.これだけではわかりにくいと思われますので,ROCKITを用いてLROC曲線のカーブフィッティングおよび面積の計算する方法を,以下に順を追って説明します.

A)  通常のROC評定実験を行う場合に,各画像に対する評価点(信号のあるなしの判断基準)に加えて,信号の位置を観察者に指定してもらいます(明かに信号がないと観察者が思った場合でも,どこか1箇所を選んでもらうようにします).この場合,位置の情報は,画像を読影しているモニタ上(またはフィルム上)で記録できるような方法が望ましいですが,それが困難な場合は,試料のサイズに応じて,試料全体を4分割,9分割,16分割にして,そのセグメント番号で回答を得るという方法もあります.

B)  全部の信号像に与えられた位置のデータから,位置の検出が間違っている試料の数をカウントし,また,それらの画像の評価点を信号像の評価点データから削除します.

C)  位置間違い評価点データ削除後の信号像の評価点データと,全部の正常像の評価点データをROCKITに入力して,通常のROC曲線のカーブフィッティングを行います.

D)  算出されたTPFのデータ(この時点では,FPF=1.0のときにTPF=1.0となっている通常のROC曲線のデータです)に(T-D)/Tの値を乗じて,LROC曲線のTPF値を求めます.ここで,Tは全信号像の数,Dは位置検出が間違っていた信号像の枚数(=削除したデータ数)を表します.

E)   LROC曲線下の面積(これをAZと読んで良いのかどうかは不明.たぶん不適当?)を算出したい場合には,これらのTPF値を用いて,台形近似もしくはWilcoxon近似で面積を求めます.

 

  

Text Box: Fig.1 仮に信号像90+正常像100で計算したROC曲線(左)とそこから算出したLROC曲線(右)

 

以上の方法で,LROC曲線を得るためのデータが得られます.この方法で得られるROC曲線とLROC曲線の関係を示したのがFig.1です.LROCのTPFが到達する値はFNと判定された試料のデータ数によって決まるので,最初にTPF=1.0となることを仮定して,ROC曲線のカーブフィッティングを行い,次に全体の値を(1-FNF)で補正して,LROC曲線を求めるという方法です.

 

. まとめ

 最後にもう一度思い出していただきたいのは,ここで示したLROC曲線の算出法はあくまで簡便法であって,個人個人のLROC曲線を算出する方法としては間違っていませんが,これらのLROC曲線の面積で統計的有意差検定を行ったり,観察者間の平均のLROC曲線を求める場合には,十分な配慮が必要であるということです.つまり,最初にも述べたように,観察者一人一人のLROC曲線は,すべて違うものである可能性が高いので,それらを平均したり,検定の対象に用いる場合には,そういったことを十分に理解する必要があるということと,さらにその手法を説明する場合には,そういった条件を正確に記述する必要があるということです.実際のところ,統計的検定はROC曲線間のもので十分だと思いますし,各観察者についてROC曲線とLROC曲線を示すことができれば,それだけでROC解析が抱えている問題点の一つを補うことができます.あくまで,このLROC解析はROC解析の問題点を補うためのものである,という点を理解していただけたらと思います.

 今回はLROC解析だけについて解説を行いましたが,近いうちに今度はFROC解析についても解説を行いたいと思っています.

 

-参考文献-

[1] Stuart J, Starr BS, Metz CE, et.al.: Visual Detection and Localization of Radiographic Images, Radiology, 116, 533-538,1975.

[2] Bunch PC, Hamilton JF, Sanderson GK, and Simmons AH: A Free Response Approach to the Measurement and Characterization of Radiographic Observer Performance, SPIE, 127, 124-135, 1977.

[3] Chakraborty DP, Breatnach EA, Yester MV, et.al.: Digital and conventional chest Imaging: a modified ROC study of observer performance using simulated nodules. Radiology, 158, 35-39, 1986.

[4] Chakraborty DP, Winter LH.: Free-Response Methodology: Alternative Analysis and a New Observer-Performance Experiment. Radiology, 174, 873-881, 1990.

[5] Swensson RG: Unified measurement of observer performance in detecting and localizing target objects on images. Med Phys. 23, 1709-25, 1996. 

[6] Chakraborty DP: Statistical power in observer-performance studies: comparison of the receiver operating characteristic and free-response methods in tasks involving localization. Acad Radiol. 9, 147-56, 2002.

 

カートロスマン放射線像研究所のHPの更新,および,それに伴うROC解析ソウフトウエアのダウンロード方法の変更について [2003.10.10]

今年(2003年)の6月に,これまでよりも,さらに内容を充実させて,シカゴ大学カートロスマン放射線像研究所(KRL)のホームページ更新されました

 http://www-radiology.uchicago.edu/krl/

そして,このKRLのホームページの更新に合わせて,ROC解析ソフトウエアのダウンロード方法にも変更がありましたので,今回はその変更について,お知らせいたします.

*なお,現在(2003年10月10日),これまで行っていたLABROC4とPROPROCの頒布を一旦停止しています.これは,これらのソフトにいくつかの重要なバグが見つかったためで,現在,その修正を行っている段階です.近日中には,修正の行われた後のバージョンがダウンロードできるようになる予定ですが,それまでにどうしても必要な場合は,HPに記載されてるように,直接,管理者の方へメールを送って事情を説明することで,上記のソフトを手に入れることができます.ただし,通常のROC解析の場合であれば,ROCKITとLABMRMC以外のソフトが必要になることは,ほとんどないと思います.

 

1) ROC Software のメインページ

下記に示したのは,KRLのホームページのメイン画面からROC Softwareのメニューを選択すると現れる画面です.

ROC解析に関することは,すべてこのページから情報を得ることができます.このページには,まず,ROC解析に関する研究を行っているシカゴ大学の講師陣が紹介されています.皆さんもよくご存知のMetz教授を筆頭に,助教授のDr.Jiangや準教授のDr.Nishikawa,それに胸部放射線科医のDr.MacMahonの名前が挙げられています.

その講師陣のTableの下にはROC解析に関わる文献が様々な見地で紹介されており,そして一番最後にROC解析ソフトウエアに関する項目が挙げられています.

最初にお断りしておきますが,このホームページからROC解析ソフトウエアをダウンロードする方法は決して簡単ではありません.“簡単ではない”という意味は,“難しい”という意味ではなく,手間がかかるようになっているということです.これは,ROC解析ソフトを使ってくれるのは嬉しいことだけれども,それ以上に,このROC解析ソフトが正しく使われて欲しい,という開発者側の気持ちが表れているためです.ですから,ROC解析のソフトを使おうと思っておられる方,またはすでに使っておられる方には,少なくともこのホームページに記述された多くのことをよく読んで,理解した上で正しくROC解析ソフトウエアを利用してもらいたいものだと思っています.

前置きが長くなりましたが,前述のような開発者の意図に従って,ここでも,ROC解析のホームページの各セクションを順番に説明していくことにします.

 

2) Contributions to ROC methodology from the Kurt Rossmann Laboratories

このページは,ROC解析に関わる文献の紹介の最初の項目の部分をクリックすると現れる画面で,ここには,世界で初めて,シカゴ大学によってROC解析が放射線像の評価に用いられるようになった頃からの,ROC解析に関連したシカゴ大学の研究を示す参考文献が年度別に示されています.この歴史をたどるだけでも,KRLとROC解析の強い結びつきがよく理解できます.

 

3) Recommended readings on ROC methodology by topic

このページは,ROC解析に関わる文献の紹介の2番目の項目の部分をクリックすると現れる画面で,ここには,ROC解析に関して,特に読んでおけばためになるであろう,という推奨論文がいくつかのトピックス別に示されています.ここに示されている論文の多くは,のホームページの中のReferencesに記載しているものと重複していますが,こちらの方には新しく選ばれた文献が多く含まれています.

 

4) Studies that used our ROC software

このページは,文献紹介の最後の項目の画面で,ROC解析ソフト別に,それぞれのROC解析ソフトを用いて行われた研究の参考文献が示されています.実際にROC実験を行った後で論文を書く場合には,こういった文献が参考になると思います.

以上で文献の紹介が終わって,いよいよROC解析ソフトウエアの画面に入ります.

 

5) ROC Software

このページは最初のページの一番下のROC Softwareという項目をクリックした時に現れるROC解析ソフトウエアの画面です.この画面では4つのROC解析ソフトの詳細(何ができるか?どういったデータに適応するか?)と,PLOTROC(ROC解析ソフトで得られた両正規パラメータa,bの値からROC曲線を描くエクセルのマクロファイル)といったROC解析ソフトを補助するソフトウエアの解説が記載されています.そして,この部分で,どのソフトが自分に必要かを見極めたら,この画面の一番下の”Download software”をクリックして,いよいよソフトのダウンロードの画面に入ります.

 

6) Download software

前述の”Download software” をクリックすると,今回,新たに追加されたカタログ画面が現れます.今までの方式では,ダウンロードしてソフトを手に入れた人がWindowsユーザーなのか,Macユーザーなのか,ということまではわかったのですが,どのソフトをダウンロードしたのか?ということがわかりませんでした.そこで,今回の変更では,誰がどのソフトを使っているか?ということまで,開発者側で管理できるようになっています.図に示したように,ここでは,その時点でダウンロード可能なROC解析ソフトの一覧が表示されます.ここで,自分が必要と思うソフトウエアのチェックボックスにチェックをして,確認のために画面左下のcartのボタンを押します.すると,に示すように,選択したROC解析ソフトウエアの一覧が表示されますので,内容を確認して画面左下のcheckoutのボタンを押します.

 

するとに示すような新しい登録画面が表示されますので,そこに必要な事項をすべて記入してください.もちろん,ここの入力はすべて英語です.先日,これまでに登録された日本の研究者の方々の全部のデータをチェックしましたが,自分の所属の英語表記などが非常にいい加減な方が多いようです.いい機会ですから,正しい英語表記の方法を学ぶようにしてください.すべての入力が終了したら,画面左下のSubmitのボタンを押します.この時,入力漏れがあったり,正しくないデータが入力された場合には,画面全体が赤に変わって,再入力するように求めてきます.

なお,以前にここに登録をしたことのある方,または何度もダウンロードをしたい方は,2度目からはの画面に入ると同時に,“Welcome back Dr.○○○○○”と表示されて,以前に入力したデータがそのまま記入されて表示されます.ですから,それらのデータに変更がなければそのままで,変更があれば,それらを変更してから画面左下のUpdateのボタンを押してください.

無事に登録が終了すると,の画面が表示されます.なお,この画面には,ダウンロード用の画面(最初に表示された画面の各ソフトのDOWNLOADの部分をクリックすると現れる)が示されています.ここでは,通常のダウンロードの同じ方法で圧縮版(ほとんどの場合)のファイルを自分のコンピュータの任意のディレクトリに保存してください.そして,ダウンロードが終了した後に,それらのファイルをダブルクリックすると(Windowsの場合)自動的に解凍処理が施されて,動作可能なROC解析ソフトがインストールされます.

 

説明は以上ですが,昨年秋に新しいコンピュータ技師がROC解析スタッフに加わって以来, 様々なROC解析ソフトのアップグレードが急ピッチで進められています.これまでに指摘されてきたソフトの不都合や,データの不合理性をできるだけ解消するために,毎日のように色んなディスカッションがシカゴ大学の中で行われています.そのため,そのソフトウエアのアップグレードに応じて,ソフトウエアのダウンロードの方法も変更になる可能性が高いと思われます自分の持っているバージョンが最新のものであるかどうかは,今回追加されたCATALOG画面のバージョンナンバーで確認するようにしてください.今後,変更があった場合には,このNewsの中か,またはMetz’s ROC Software Users Groupのホームページの中で随時,取り上げていきたいと思っています.


シカゴ大学カートロスマン放射線像研究所ROC解析グループの近況報告 [2002.3.15]

Metz教授の下でプログラム開発の仕事を担当し,連続確信度法ROC解析のためのカーブフィッティングプログラムLABROCや,統合型RCO解析ソフトROCKITの開発を行っていたBenjamin Herman がシカゴ大学を去って以来, ROC解析を主としたMetz教授の研究グループでは,統計学に関する専門的な知識があり,なおかつ,FORTRANおよびC言語のプログラムに堪能で,MacintoshとPCの両方に精通している,という条件を満たすコンピュータ技師がなかなか見つかっていませんでした.そのため,ROC解析関連ソフトウエアの不具合の修正や,ダウンロードサイトの管理が沈滞していたのですが,昨年の9月から,Dr. Lorenzo Pesceというイタリア人のコンピュータ技師がグループに加わり,これまでの遅れを取り戻すべく,次々と作業が進められるようになりました.差し当たってDr. Pesceが取り掛かっている作業は,PROPROCおよびROCKITの不具合の修正と,ダウンロードサイトの整備で,現在進められているカートロスマン放射線像研究所のホームページの更新に合わせて,ROC解析関連のソフトウエアのダウンロードサイトも一新される予定です(2003年4月末の予定).さらには,LABMRMCの不具合の修正やCプログラム内で実行可能なLABROC5のサブルーチン版のダウンロード開始など,今後,精力的に活動が進められる予定です.詳細は次回のUsers Group Newsでお伝えする予定ですので,乞うご期待ください.                   

 

平均のROC曲線の求め方:アベレージ法とプール法 [2002.9.15]

今回のUsers Group Newsでは,皆さんからの質問にもよく出てくる,平均のROC曲線の求め方を取り上げたいと思います. 

複数の観察者から得られたROC曲線の,平均のROC曲線を求める場合には,アベレージ法とプール法があり,通常の場合はアベレージ法を使用するように推奨しています.このことについては,過去のQ&Aでも説明していますが,その理由は何なのか?ということまで理解している方は少ないように思われます.また,あまり理解せずに(よく知らずに)プール法で平均のROC曲線を求めている場合が時折,研究発表などで見かけられます.平均のROC曲線を求める2つの方法の違いによって,結果に大きな差が生じることは,そう多くはありませんが,場合によっては,その違いが決定的な差を生じさせている可能性があります.そこで,ここでは具体的な例を示して,アベレージ法とプール法にどのような違いがあり,どうしてアベレージ法を使う方が良いのか,という点について解説したいと思います.

まず,最初にアベレージ法とプール法の計算方法とその結果の違いを説明するために,1つのROC実験の結果を想定します.そして,このROC実験は,胸部の腫瘤陰影の検出を目的として,3人の放射線科医(A,B,C)によって行われた,と仮定します.この実験のために用意された観察試料(胸部単純X線像)の枚数は, 信号あり10枚,信号なし10枚で,読影実験は連続確信度法(最大スコア:50)で行われたものとします.ここで注意していただきたいのですが,この仮想のデータは,あくまで平均のROC曲線の求め方の違いを説明するために想定したもので,実際の場合には,観察者の数も試料枚数も,この数よりも多くすることが必要ということを理解してください.Table1に, 20枚の試料について3人の放射線科医から得られたスコアを示します.ここでは,3人の観察者について,Aは自分の読影能力に自信のある熟練した放射線科医,Bは,経験はあるけれども自分の診断に非常に慎重な放射線科医,Cは経験の少ない放射線科医,という想定でスコアを作成しました.これはあくまで,私のこれまでの個人的な経験から得た知識ですが,Aのタイプの観察者は,観察者の判断が正しい正しくないに関わらず,スコアが両極端(最大値と最小値)に離れる場合が多く,Bのタイプの観察者の場合は,逆に両極端のスコアが少なくなる傾向にあります.AとBの場合はスコアのばらつきの程度が違いますが,各試料に付いての判定は似ている傾向を示す場合が多いですが,Cの観察者は,時として,AやBとはまったく逆の判定のスコアを示すことがあります.では,これらのスコアについて,実際にアベレージ法とプール法で平均のROC曲線を求めて,その差を検討してみることにしましょう.

 

観察者 信号(腫瘤)なしの試料に対するスコア 信号(腫瘤)ありの試料に対するスコア
A 1 6 39 2 5 41 8 12 7 3 48 17 4 49 50 12 46 10 44 50
B 7 8 24 4 6 30 9 16 5 1 31 16 29 42 39 2 35 14 28 43
C 9 35 11 5 2 45 3 4 15 7 40 6 44 46 49 39 10 1 24 48

Table 1 3名の放射線科医から得られた評定実験結果(想定データ)

 

 アベレージ法による平均のROC曲線の求め方は,まず各観察者についてROC曲線を推定します.現在では,このROC曲線の推定には,このUsers Groupでも紹介しているROCKITを用いるのがもっとも適当と思われますので,ここでもROCKITを用いて3人のROC曲線を推定します.Fig.1に示したのが,ROCKITを用いて得られた3人のROC曲線とROC曲線下の面積AZです.ROCKITでは,ROC曲線をプロットするための座標が,決まったFPF(0.0~1.0)について与えられますので,アベレージ法による平均のROC曲線は,各FPFについてTPFの平均を算出することで求められます(Fig.2).そして,この平均のROC曲線のAZは,3人のAZの平均値にほぼ等しく,この場合は,0.820になります.

 一方,プール法による平均のROC曲線は,3人の評定実験で得られたスコアをひとまとめにしてROC曲線の推定を行います.つまり,Table 1に示したデータの,信号(腫瘤)なしの試料に対するスコアと信号(腫瘤)ありの試料に対するスコアをまとめてROCKITへ入力することで平均のROC曲線が推定されます.この方法で得られた平均のROC曲線をFig.2に示します.図からわかるように,プール法で推定したROC曲線は,アベレージ法よりも下になり,AZもアベレージ法よりは小さくなっています(AZ=0.792).

    Fig.1   3人の観察者のROC曲線   Fig.2    2つの方法で求めた平均のROC曲線

 

 ここで示した例では,アベレージ法とプール法の間に比較的大きな差が生じましたが,試料数が多い場合は,差はもう少し小さいと予想されます.ただし,つねにプール法で求めたROC曲線はアベレージ法よりも下になり,AZは小さい値となります.これは,各観察者のスコアの正規分布が観察者によって異なるためで,各観察者について最適な正規分布を推定している両正規ROC解析では,3人の観察者のスコアの正規分布が一致した時にのみ,アベレージ法とプール法の両者で得られたROC曲線が同一になります.したがって,平均のROC曲線を求める場合には,アベレージ法を用いた方が,より正確な曲線が得られるという事になります.皆さんの中には,少ない試料数の場合,プール法で平均を求めた方がデータの精度が向上すると考えている方がおられるかもしれませんが,それは大きな誤解です.今回の例でもわかるように,試料枚数の少ない場合ほど,アベレージ法とプール法の差が大きくなります.

また,2つの平均ROC曲線間の差を統計的に検定する場合も,アベレージ法の方がAZを用いてt検定を実行できるという点で有利です(Q&A参照).そして,プール法で得られたデータに関しては,今のところ適当な検定方法がありません.では,プール法は何のためにあるのか?という疑問が生じるかもしれません.その答えは,プール法でしか平均のROC曲線を求められない場合があるからです.ただし,これは非常に特殊な場合に限られますので,今回は説明をしません.もし,実際にROC実験を行って,どうしてもプール法でしか平均のROC曲線が求められない,という状況に遭遇しましたら,その時は,質問のメールをUsers Groupまでお寄せください.

 

観察者の人権の保護 [2002.3.15]

今までにROC解析の実験を行われた方,または,これから行うかもしれないと思われる方で,これまでに,ROC解析の読影実験に参加してもらう“観察者の人権”を考えたことのある方がおられるでしょうか? 今回は,最近,アメリカで採用されつつある,この観察者の人権の保護について紹介したいと思います.ここで紹介することを“難しい”と感じられる方が,皆さんの中にはおられるかもしれませんが,非常に大切なことであり,今後,日本国内でもこういったことを考える必要が生じてくると思われますので,ぜひ,この機会にアメリカで行われていることの“事実”を認識していただきたいと思います.

まず,最初に“観察者の人権の保護”という概念が生まれた背景について説明したいと思います.現在,アメリカ国内の医療分野の研究に関わる大学や病院,研究機関の内部には,NIH(National Institutes of Health:日本の厚生労働省のようなもの)の指導により,Institutional Review Board (IRB)という委員会の設置が義務付けられています.IRBは簡単に言えば日本の大学における学内倫理委員会と同じような目的で設置されています.ただし,その機能や権限は日本とは比べものにならなくて,患者の人権保護やインフォームド・コンセントの実施,生命の倫理に関わる事項を厳しく管理し,必要に応じて教育を行います.IRBの影響力は非常に強く,大学や病院,研究機関の内部に設置されてはいるものの,それらに対して,NIHのポリシーを実行するための独立した権限を持っています.このようにIRBが権限をもつことの出来る理由は,IRBが本来の機能を果たさずに,NIHの指導が正しく行われなかったことが判明した場合には,その施設に対するNIHからの研究費の支給が全面的にストップされてしまうためです.実際に,そのようなことが今までにペンシルバニア大学,デューク大学,およびイリノイ大学といった一流大学で起こっています.アメリカ国内の大学や研究機関はNIHの研究費に依存している部分が多く,研究費の支給がストップされてしまうと,たちまち,経済的に窮地に陥るだけでなく,研究を継続することができなくなります.さらに,NIHへの研究費の申請には,その研究に対するIRBの承認が必須ですので,研究を健全に行うためには,研究者はIRBの権限を尊重し,それに従う必要がありますし,IRBの機能が正常に遂行されるためには,研究者は進んで協力する努力を惜しみません.また,NIHだけではなく,最近はRadiologyといった学会雑誌でも,その研究がIRBの承認を受けたことを論文中に明記することを,著者に対して義務付けていますので,必然的にIRBの存在価値は,さらに高くなりつつあります.

このように各施設にIRBを設置し,NIHの指導が徹底されるようになった背景には,患者の人権の保護(実験用動物の保護も含めて)が,医学の進歩と同じくらいに,重要視されるようになったことと,頻繁に繰り返される医療訴訟に対して,医療機関側が何らかの防衛手段を講じる必要があった,ということが挙げられます.そのため,患者のデータや身体の一部(レントゲン検査の結果,各種検査のデータ,血液,組織サンプル,etc.)を用いるすべての研究に対して,IRBの承認が義務付けられ,研究の結果や資料から特定の患者を同定することができないように,様々な措置が施されています.ここで,IRBがそういった人に関するすべての研究に対して承認を行う場合,IRBは研究者に対して概念(例えば,患者のデータと検査結果の関係は絶対に同定できないようにしなければいけない,といった概念)を示すだけで,その方法は,承認を申請する研究者が各自で考えなければいけません.当然ながら,研究者が示した方法がIRBによって適切と認められなければ,IRBの承認はおりませんし,その施設内で研究を進めることが出来なくなります.つまり,IRBはNIHのポリシーが実行されているかどうかを監視する非常に重要な役割を担っているのですが,結局は,研究者自身がNIHのポリシーを十分に理解し,そのポリシーにしたがって研究を行うためには,どのようにするべきかということを,日頃から真剣に考える必要がある,ということになります.この点が非常に合理的で,かつ効果的な政策(施策)であるように私には思われます.

アメリカ国内の医療関係の研究機関におけるIRBの役割と患者の人権保護との関係は,前述したように密接な関係にあることが理解いただけたと思います.そこで,ここからは今回の本題である観察者の人権の保護について述べます.最近になって,NIHは,アメリカ国内の研究機関に対して,ROC解析の様な観察者実験を行う場合には観察者の人権を保護する措置を施すように,といった勧告を行いました.その結果,多くの施設のIRBが,早速,観察者実験における観察者の人権の保護に取り組み始めました.具体的には,研究内容に観察者実験を含める研究者に対して,“観察者の人権の保護”を遂行するための方法を提示してください,という要求を行いました.“観察者の人権の保護”という概念が生じること自体,現在の日本国内では想像が出来ないことかもしれませんが,アメリカ国内では,それだけ観察者実験の結果が重要視され,研究の評価には観察者実験が欠かせない,という認識が強いことを如実に表しているように思われます.

ROC解析の観察者実験への参加を放射線科医や放射線技師の方にお願いした場合,あまり積極的には参加したくないと言われる場合があります.そして,それらの方々に,その理由を聞いたところ,忙しくて時間が取れない,といった理由以外に,観察者実験は自分の能力が試されるようで嫌だ,という意見を聞いたことがあります(ただし,これは日本での私の経験からです).また一方で,ROC解析においては,観察者の読影能力の違いによって実験結果に差が出ることが一般的に知られています.そのため,ROC解析の結果を評価する場合には,これらの観察者間の変動から,実験に参加した観察者群の母集団の平均と分散を推定し,統計的な有意差を求めます.ですから,観察者間で変動があってもおかしくないし,それが自然なのですが,実験に参加した観察者の方々が,自分の結果が全体の結果と比べてどうであったか,と気にすることも,また,自然なことのように思われます.ある観察者の結果が全体の平均よりもかなり良い値であれば問題はないのでしょうが,仮にその観察者の結果が平均よりもすごく下回った場合には,その観察者はその結果を誰にも知られたくない,と思うのではないでしょうか.また,そのような結果が第3者に知られてしまい,一度の観察者実験の結果によって,ある観察者の能力が評価されると仮定した場合,その不合理さは明らかだと思われます.さらにアメリカ国内では,そういった事実が第3者に知られた場合には,その観察者(例えば放射線科医)の就職問題に関わってくる可能性があるのではないか,と心配しています.

また,観察者実験への参加をお願いする場合ですが,年上や立場が上の人には,観察実験を依頼するのに躊躇して,目下の人や気心の知れた人には,気楽に実験の参加をお願いできる,ということを経験したことがないでしょうか? 逆に言えば,目下の立場であれば,上の人から頼まれれば,嫌でも嫌と言えない場合があります.これはハラスメントと考えることも可能であり,仕事という義務を超えた範囲での強要と受け止められる可能性があります.

現在,シカゴ大学でのIRBが要求している観察者の人権保護は;1)実験結果と各観察者の結果の関係を機密事項とし(または記録を抹消し),絶対に個人を同定できないようにすること,2)観察実験への参加を拒否した場合でも,そのことによって拒否した本人が,いやがらせや不当な評価などの不利益を被ることのないようにすること,の2点についてです.NIHが行った勧告をどのように解釈して実施するかは,各施設のIRBの判断に任されているのですが,アメリカ国内でも特に観察者実験を重要視し,観察者実験を含める研究の数が他の施設より多いシカゴ大学では,観察者の人権の保護についての勧告が行われる数年前から,この問題について時間をかけて取り組んできました.観察者の人権を保護する具体的な方法は,前述のようにIRBが指導するわけではなく,各研究者に任せられますので,どういった方法が効果的かを各研究者が考えなければいけません.現在のところ,シカゴ大学のカートロスマン放射線像研究所では,いくつか効果的と考えられる方法をIRBに提示し承認を得ています.RSNAやJMCPなどで展示されたシカゴ大学からのリアルタイムROC実験に参加されたことのある方は,実験の最初にコンピュータ画面に表示される“Informed Consent”を覚えておられるかもしれません.そこには,ROC実験に観察者として参加してもらうための了解事項が記載され,”同意“のボタンをクリックすることで実験を開始するようになっています.これは,カートロスマン放射線像研究所の研究がシカゴ大学のIRBから承認を得た方法の一例です.そして,今後も,さらに高いレベルの観察者の人権保護が要求された場合には,その要求に対して,最適な方法を考える必要があるかもしれません.

なお,論文の謝辞(または共著者として)では,実験に協力してくれた観察者の方々に,お礼を述べることが一般的ですが,この場合は,実験結果の各データと各観察者の関係がわからないので問題はない,というようにシカゴ大学の研究者達は考えていますし,今のところ,IRBから問題の可能性を指摘されたこともありません.

私自身,IRBのことも観察者の人権保護のこともシカゴに来てから知ることになりましたが,知ってみれば至極当然の論理で,できるだけ早い機会に,日本の研究者の皆さんにも,このことに対する認識を深めてもらいたいと思っています.さらに,これまでの経緯から,NIHのこういった勧告は,アメリカ国内の研究であっても,そこに外国の共同研究者が含まれる場合には,その国のIRBに対しても同じポリシーが要求されますので,日本でも対策を講じることが必要になることが予想されます.また,“観察者の人権の保護”を考え,その考えに従って観察者実験を行うことは,観察者として参加していただく先生方にとっても望まれることではないかと考えます.

 

ROC解析の最近の動向 [2001.9.6]

ROC解析を含むすべての観察者実験においては,観察者間の変動や観察者内の変動(繰り返して同じ実験をしても同じ結果にならない原因),さらに実験結果が観察試料の難易度に依存する,という問題点を抱えています.ROC解析においては,連続確信度法を用いることで,観察者間の変動を減少することが可能になりましたが,それでもいくつかの変動は必ず存在し,それらを考慮した統計的有意差の検定法の開発が進められています.最近の新しい手法としては,分散分析やブーツストラップ法(特性曲線を求める際に使われているものとは異なる統計手法の一つです)を応用して,観察者間,観察者内,試料間の母集団の変動をさらにモデル化(標準化)しようとする試みが行われています.興味のある方は以下に参考文献を示しますので,一度,読んでみてください.

1)  Beiden SV, Wagner RF, Campbell G.  “Components-of-Variance Models and Multiple-Bootstrap Experiments: An Alternative Method for Random-Effects, Receiver Operating Characteristic Analysis”, Acad. Radiol. 2000; 7: 341-349.

2)  Wagner RF, Beiden SV, Metz CE, "Continuous versus Categorical Data for ROC Analysis: Some Quantitative Considerations", Acad. Radiol. 2001; 8: 328-334.

3)  Beiden SV, Wagner RF, Campbell G, Metz CE, Jiang Y, "Components-of-Variance Models for Random-Effects ROC Analysis: The Case of Unequal Variances Structures Across Modalities", Acad. Radiol 2001; 8: 605-615

4)  Beiden SV, Wagner RF, Campbell G, Chan H, "Analysis of Uncertainties in Estimates of Components of Variance in Multiple ROC Analysis", Acad. Radiol 2001; 8:616-622

 

中心極限定理って知ってますか?[2001.9.6]

統計学における非常に大切な定理の一つに中心極限定理(central limit theorem)というのがあります.ここでは,この非常に不思議な自然の摂理について紹介します.統計理論やROC解析でよく用いられる正規分布の妥当性を理解するために,ぜひ覚えておいてください.

中心極限定理とは,簡単に言えば,母集団の分布がたとえ何であっても標本の数が増えることによって,その標本の和の分布が正規分布に近づいていくという理論です.つまり,ROC解析の実験を例にとって考えると,ある試料群に与えられた観察者の評価値(スコア)は,各観察者について正規分布から程遠くても,観察者の数が多ければ,観察者全員の合計(または平均)は,だいたい正規分布となるということです.もっと簡単に理解してもらうために,サイコロを例にとって説明します.サイコロを1回投げた時に出る目の数の確率は,イカサマサイコロでない限り,1から6までそれぞれ1/6です.ところが,このサイコロを2回投げた時の平均値の確率分布を考えてください.事象の数は6x6で36回で,1から6までのそれぞれの平均の出る確率は下に示した表のようになります.

 

平均値 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 5.5 6.0
確率 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36

 

いかがですか?わずか2回の標本数の和(平均)でも,正規分布の形をとり始めているのがわかります.実際には,ROCKITに含まれるROC解析のカーブフィッティングでは,観察者の評価値の平均や合計を入力する方式ではなく,各観察者についてROC曲線を求めていますが,ROC解析の理論に,観察者の反応の分布は正規分布となる,という仮定が用いられるのは以上のような理由からです.統計学は,ともすると教科書に書いてある方法だけを応用して行われる場合が多いですが,このような理論を理解することで,さらに統計の奥深さが楽しめるようになると思います.この記事を読んで興味をもった方は,ぜひこれを機会に統計学の本を紐解いてみてください.

 

LABROC5とLABROC1の違いについて [1999.3.7]

 「ROCKIT」に含まれる新しい連続確信度用カーブフィッティングプログラムLABROC5は,これまで用いられてきたLABROC1の後継ソフトになります.この2つのソフトは連続的な観察データを自動的にカテゴリ分類する際のアルゴリズムに若干違いがあります.まず,連続的な観察データに対して,両方のアルゴリズム共,ROC曲線の動作点が適当な広がりを持つようにカテゴリ分類を行います1).その後,カテゴリ分類されたデータのそれぞれのカテゴリの境界付近にあるデータについてのみ,Dorfmanの開発したプログラムで解析され2,3),次の段階に進むためのカテゴリ分類が終了します.ここで,LABROC1ではこのカテゴリ分類とそこから推定される両正規分布の関係を最尤度比検定で求めますが,LABROC5では,疑似最尤度比検定(quasi-maximum-likelihoodestimation)を用います.詳細は文献を参考していただくしかないですが,特に,連続確信度法でありながら同じ得点がいくつも含まれるような観察データの場合には,推定結果にわずかに違いが生じます.一応,LABROC5とLABROC1で計算されたROC曲線の結果はp<0.001で差がないということが,証明されています.そして,この両者の差はそれぞれの95%信頼区間に入るものと予想されています.ですから,結局のところ,どちらのソフトを用いても結果は同じになるのですが,論文と発表される場合には正当性の立証されたLABROC5を使用する方が有利ですし,そうしてほしいとMetz教授も言っておられました.

1) Metz CE, Herman BA, Shen J-H.Maximum-likelihood estimation of receiver operating characteristic(ROC) curves from continuously-distributed data. Statistics inMedicine 17: 1033-1053, 1998.

2) Dorfman DD, Alf E. Maximum likelihoodestimation of parameters of signal detection theory and determinationof confidence intervals rating method data. J Math Psych 6: 487-496,1969.

3) Grey DR, Morgan BJT. Some aspects of ROCcurve-fitting: normal and logistic models. J Math Psych 9: 128-139,1972.

 

ROC曲線作成ソフト「PlotROC」について [1998.9.1]

PlotROC」は,ROCKITをダウンロードされる場合に入手可能なROC曲線作成用のエクセルのマクロシートです.Macintosh版のExcelver5.0以降のものでないと動作しませんが,ROC解析ソフトのROCFIT,LABROC,ROCKIT で算出されたROC曲線の両正規パラメータのaとbの値を入力するだけでROC曲線を自動的に作成してくれる優れものです.使い方も簡単で,ROC実験後のデータ処理のスピードアップにお役にたてると思いますので.ぜひご活用ください.

 

 

標準ディジタル画像データベースの頒布開始 [1998.2.1]

 以前よりお伝えしていました標準ディジタル画像データベースがついに完成し,平成10年1月末より日本放射線技術学会事務局で頒布を開始いたしました.

 標準ディジタル画像データベースは,1995年4月より約3年の歳月をかけて,本学会学術委員会 学術調査研究班(現:画像分科会画像データベース構築タスクグループ)が,日本医学放射線学会の協賛や日本全国および米国の医療施設からの症例提供の協力を受けて完成させたものです.

その特徴は;

多くのディジタル画像研究(画像処理,画像圧縮,ディスプレイ評価,コンピュータ支援診断システムの開発および評価,PACS,etc...)に応用が可能.○腫瘤陰影像および非腫瘤陰影像を用いたROC解析の研究に適応.

臨床画像と同等の高解像度,高濃度分解能の画質.

非常に高度な胸部単純X線像の読影トレーニング,および診断のための教育目的に利用可能.

豊富な付帯情報(年齢,性別,診断名,腫瘤のXY座標,簡易シェーマ,腫瘤陰影検出の難易度,腫瘤の良悪性の種別等)により,さまざまな解析が可能.

CD-ROMからの読み取りで,ほとんどのコンピュータシステムに対応.

パソコンでも表示可能な画像表示アプリケーション(OSIRIS)を付属.

誰もが簡単に手にいれることが可能な低価格(\2,800).

胸部放射線科医によって設定された腫瘤陰影検出の難易度で症例が5段階に分類されているため,必要に応じた難易度の症例を選択することが可能.

etc...と,多種多様で,非常に応用範囲の広い画像データベースです.是非一度お試し下さい.

  1. 電子図書名:標準ディジタル画像データベース[胸部腫瘤陰影像](CD-ROM4枚組 ISO9660フォーマット,一部HFS)

  2. 内容および仕様:腫瘤陰影像154画像,非腫瘤陰影像93画像,ヘッダなし,rawデータ,2048×2048マトリクス,0.175mmピクセルサイズ,4096(12bit)グレイスケール,1画像容量約8MB

  3. 付属ソフト:OSIRIS(University Hospital of Geneva)

  4. 対応機種:Macintosh(640xxおよびPPC,OS ver7.X),Windows(95,NT),Unix(sunOS)*対応機種はOSIRISを使用の場合(いずれの場合も20MB以上のRAMメモリの空きが必要)

  5. 頒布価格:2,800円(消費税および国内送料込)

  6. 申し込み方法:希望部数,氏名,所属,住所,電話番号をご記入の上,(社)日本放射線技術学会事務局までFAXでお申し込み下さい.FAX:075-352-2556

代金支払方法:

郵便振替: 加入者名 「(社)日本放射線技術学会 刊行事業係」 郵便振替 01020-5-16961

現金書留 〒600-8107 京都市下京区五条通新町東入東錺屋町167 ビューフォート五条烏丸3階

        日本放射線技術学会 宛

 

Home | History | Research Summary | ROC Software | Publications | Contact Us

This site was last updated 01/12/06