事前登録(プレレジ)した論文が査読付き国際誌Language Learningに掲載された話

この記事の前編は、こちらです。

鈴木祐一氏(神奈川大学)とStella He氏(名古屋商科大学)との共著論文が査読付き国際誌Language Learning (Wiley)に掲載されました。

Nakata, T., Suzuki, Y. & He, X. (2023). Costs and benefits of spacing for second language vocabulary learning: Does relearning override the positive and negative effects of spacing? Language Learning, 73. doi:10.1111/lang.12553

https://onlinelibrary.wiley.com/doi/10.1111/lang.12553

この論文はデータ収集の前に査読付き事前登録(pre-registration、いわゆるプレレジ)を行い、registered reportとして出版されました。

本記事では、registered reportの投稿・査読プロセスをご紹介します。

Registered reportの投稿・査読プロセス

1. Stage 1 manuscriptの提出

序論(Introduction)・仮説(Hypotheses)・研究手法(Method)・分析計画(Data Analysis)のみを記載したStage 1 manuscriptを提出し、査読を受ける。査読に通ると、in-principle acceptanceとなる。

査読に通ったStage 1 manuscriptをOpen Science Framework(OSF)にアップロードすることで、pre-registration(事前登録)が完了。

2. データ収集・分析

Stage 1 manuscriptが査読に通ってから、はじめてデータ収集および分析を行う。なお、データ収集や分析の際には、Stage 1 manuscriptに記述した内容から逸脱することは許されない(Stage 1 manuscriptに記述した内容を変更する場合は、事前にEditorの許可を得ることが求められる)。

3. Stage 2 manuscriptの提出

Stage 1 manuscriptに結果(Results)・考察(Discussion)・結論(Conclusion)等を追加したStage 2 manuscriptを提出し、再度査読を受ける。なお、序論・仮説・研究手法・分析計画等に関しては、Stage 1 manuscriptの内容に変更を加えることは原則できない(「未来形で書いていたMethodの文章を過去形に書き変える」などの細かい修正は可能)。Stage 2 manuscriptが査読に通ると、registered reportとして出版される。

実際のスケジュールは以下の通りです。

2020年1月:Stage 1 manuscriptの提出
2020年8月:Stage 1 manuscriptが査読に通る(in-principle acceptance)
2022年8月:Stage 2 manuscriptの提出
2022年10月:Stage 2 manuscriptが査読に通る

Stage 1 manuscriptが査読に通ってからStage 2 manuscriptを提出するまで、約2年かかってしまいました。これは、新型コロナウイルス感染症の影響でデータ収集が行えなかったことによります。

なお、研究の事前登録(プレレジ)に関しては、以下の記事もご参照ください。

https://www.enago.jp/academy/pre-registration-of-study/

ところで、研究の事前登録にはどのような利点があるのでしょうか? データ収集前に研究手法や分析方法を事前登録することで、「データ収集をした後に、分析結果に符合するような仮説を後付けで立てる」「データ収集をした後に、自分に都合の良い結果が出るような分析方法を恣意的に採用する」「データ収集をした後に、自分に都合の良い結果のみを選択的に報告する」「統計的に有意な結果が出るまでデータを収集し続ける」などの行為をある程度抑止し、研究の透明性が高まると考えられています。

感想

Registered reportに投稿したのは初めてであったため、色々と戸惑うことがありました。まず、Stage 1と2を通して、全部で5人の査読者がいたため、査読に通るまで多くの労力がかかりました。

また、「データ収集や分析の際には、Stage 1 manuscriptに記述した内容から逸脱することは許されない」「データ収集をいつ行ったかがわかるように、タイムスタンプを残しておくこと(in-principle acceptanceの後にデータ収集したことを証明する必要があるため)」などのregistered report独自のルールがあり、最後まで「このやり方で本当にあっているのかな?」という緊張感がありました。

注)Language Learning誌のregistered reportの詳細については、こちらのpdf(13ページあります)をご覧ください。

一方、registered reportの利点としては、データ収集前に研究手法や分析方法等について査読を受けられることがあります。そのため、実際にデータ収集が完了してから、研究手法や分析方法についてダメ出しされることはないため、「Stage 1 manuscriptに記載された通りに研究を進めれば、結果がどうであれアクセプトしてもらえる」という点では安心感がありました。

また、査読者から事前に研究手法や分析計画等についてアドバイスを受けることができるため、まるで査読者に研究指導をして頂いているようで、より良い研究を一緒に作り上げるという貴重な経験をさせて頂きました。

さらに、Stage 2の査読は、「Stage 1 manuscriptに記載された通りに、データ収集や分析を行ったか」「Stage 2 manuscriptに記載された考察が妥当か」という点を中心に行われます。そのため、Stage 2の査読はスムーズに進みました(Stage 2 manuscriptを提出した時点で、「単語カードによる語彙学習には何の意味もないので、この研究は査読に値しない」などとちゃぶ台返しされることはありません)。

最後に、本研究のデータ収集には半沢蛍子先生(東京理科大学)にご協力頂きました。この場を借りてお礼申し上げます。