リハビリテーション研究における効果量の解釈に関するシステマティックレビュー

最近は理学療法士・作業療法士の論文でも統計学的検定における有意確率に合わせて効果量を公表した論文が増えてきております．

例えば差の検定では，差の確実性だけではなく差の大きさが問題となりますので，有意確率だけでなく効果量を算出して，公表する手続きというのは非常に重要です．

しかしながらリハビリテーション研究における効果量の解釈というのは標準化されていないのが現状です．

今回はリハビリテーション研究における効果量の解釈に関するシステマティックレビューをご紹介させていただきます．

今回ご紹介する論文

SYSTEMATIC REVIEW| VOLUME 101, ISSUE 12, P2219-2226, DECEMBER 01, 2020

Novel Effect Size Interpretation Guidelines and an Evaluation of Statistical Power in Rehabilitation Research

Adam R. Kinney, PhD, OTR/L

Aaron M. Eakman, PhD, OTR/L, FAOTA

James E. Graham, PhD, DC, FACRM

今回ご紹介する論文は2020年に掲載された論文です．

研究の目的

First, to establish empirically-based effect size interpretation guidelines for rehabilitation treatment effects. Second, to evaluate statistical power in rehabilitation research.

この研究では，第1にリハビリテーション治療効果のための経験的根拠に基づく効果量解釈のガイドラインを確立することを目的としております．

またリハビリテーション研究における統計パワーを評価することを第2の目的としております．

データソース

Data Sources

The Cochrane Database of Systematic Reviews was searched through June 2019.

2019年6月までのシステマティックレビューのコクランデータベースを検索に使用しております．

研究の選択

Meta-analyses included in the Cochrane Database of Systematic Reviews with “rehabilitation” as a keyword and clearly evaluated a rehabilitation intervention.

｢リハビリテーション」をキーワードとして，リハビリテーション介入を明確に評価したCochrane Database of Systematic Reviewsに含まれるメタアナリシスを行っております．

データ抽出

We extracted Cohen’s d effect sizes and associated sample sizes for treatment and comparison groups. Two independent investigators classified the interventions into 4 categories using the Rehabilitation Treatment Specification System. The 25th, 50th, and 75th percentile values within the effect size distribution were used to establish interpretation guidelines for small, medium, and large effects, respectively. A priori power analyses established sample sizes needed to detect the empirically-based values for small, medium, and large effects. Post-hoc power analyses using median sample sizes revealed whether the “typical” rehabilitation study was sufficiently powered to detect the empirically-based values. Post hoc power analyses established the statistical power of each test based on the sample size and reported effect size.

治療群と比較群のCohenのd効果量と関連するサンプルサイズを抽出しております．

2名の独立した研究者が，リハビリテーション治療指定システムを用いて介入を4つのカテゴリーに分類しております．

効果量分布内の25％，50％，75％のパーセンタイル値を用いて，それぞれ小効果，中効果、大効果の解釈ガイドラインを設定しております．

事前検出力分析では，小効果，中効果および大効果について経験に基づいた値を検出するために必要なサンプルサイズを設定し，中央値のサンプルサイズを用いた事後検出力分析により，「典型的な」リハビリテーション研究が経験に基づく値を検出するのに十分な力を持っているかどうかが明らかにしております．事後検出力分析ではサンプルサイズと報告された効果量に基づいて，各検定の統計的検出力を確立しております．

データ統合

We analyzed 3381 effect sizes extracted from 99 meta-analyses. Interpretation guidelines for small effects ranged from 0.08 to 0.15; medium effects ranged from 0.19 to 0.36; and large effects ranged from 0.41 to 0.67. We present sample sizes needed to detect these values based on a priori power analyses. Post hoc power analyses revealed that a “typical” rehabilitation study lacks sufficient power to detect the empirically-based values. Post hoc power analyses using reported sample sizes and effects indicated the studies were underpowered, with median power ranging from 0.14 to 0.23.

99編のメタアナリシスから抽出した3381の効果量を分析しております．

小効果は0.08～0.15，中効果は0.19～0.36，大効果は0.41～0.67の範囲でありました．

この結果から，必要なサンプルサイズを事前の検出力分析に基づいて計算することが可能となります．

また事後検出力分析の結果，「典型的な」リハビリテーション研究では，経験に基づいた値を検出するのに十分な検出力がないことが明らかとなりました．

報告されたサンプルサイズと効果を用いた事後検出力分析では，検出力の中央値が0.14～0.23の範囲であり，これらの研究は検出力が不足していることが示されました．

研究の結論

This study presented novel and empirically-based interpretation guidelines for small, medium, and large rehabilitation treatment effects. The observed effect size distributions differed across intervention categories, indicating that researchers should use category-specific guidelines. Furthermore, many published rehabilitation studies are underpowered.

この研究結果から小規模，中規模，大規模のリハビリテーション治療効果に関する新しい経験的根拠に基づく解釈ガイドラインが提示されました．

観察された効果の大きさの分布は介入カテゴリーによって異なっており，研究者はカテゴリー別のガイドラインを使用する必要があります．

また発表されているリハビリテーション研究の多くは統計パワーが不足していると結論付けられます．