事前登録(プレレジ)した論文が査読付き国際誌Language Learningに掲載された話

この記事の前編は、こちらです。

鈴木祐一氏(神奈川大学)とStella He氏(名古屋商科大学)との共著論文が査読付き国際誌Language Learning (Wiley)に掲載されました。

Nakata, T., Suzuki, Y. & He, X. (2023). Costs and benefits of spacing for second language vocabulary learning: Does relearning override the positive and negative effects of spacing? Language Learning, 73. doi:10.1111/lang.12553

https://onlinelibrary.wiley.com/doi/10.1111/lang.12553

この論文はデータ収集の前に査読付き事前登録(pre-registration、いわゆるプレレジ)を行い、registered reportとして出版されました。

本記事では、registered reportの投稿・査読プロセスをご紹介します。

Registered reportの投稿・査読プロセス

1. Stage 1 manuscriptの提出

序論(Introduction)・仮説(Hypotheses)・研究手法(Method)・分析計画(Data Analysis)のみを記載したStage 1 manuscriptを提出し、査読を受ける。査読に通ると、in-principle acceptanceとなる。

査読に通ったStage 1 manuscriptをOpen Science Framework(OSF)にアップロードすることで、pre-registration(事前登録)が完了。

2. データ収集・分析

Stage 1 manuscriptが査読に通ってから、はじめてデータ収集および分析を行う。なお、データ収集や分析の際には、Stage 1 manuscriptに記述した内容から逸脱することは許されない(Stage 1 manuscriptに記述した内容を変更する場合は、事前にEditorの許可を得ることが求められる)。

3. Stage 2 manuscriptの提出

Stage 1 manuscriptに結果(Results)・考察(Discussion)・結論(Conclusion)等を追加したStage 2 manuscriptを提出し、再度査読を受ける。なお、序論・仮説・研究手法・分析計画等に関しては、Stage 1 manuscriptの内容に変更を加えることは原則できない(「未来形で書いていたMethodの文章を過去形に書き変える」などの細かい修正は可能)。Stage 2 manuscriptが査読に通ると、registered reportとして出版される。

実際のスケジュールは以下の通りです。

2020年1月:Stage 1 manuscriptの提出
2020年8月:Stage 1 manuscriptが査読に通る(in-principle acceptance)
2022年8月:Stage 2 manuscriptの提出
2022年10月:Stage 2 manuscriptが査読に通る

Stage 1 manuscriptが査読に通ってからStage 2 manuscriptを提出するまで、約2年かかってしまいました。これは、新型コロナウイルス感染症の影響でデータ収集が行えなかったことによります。

なお、研究の事前登録(プレレジ)に関しては、以下の記事もご参照ください。

https://www.enago.jp/academy/pre-registration-of-study/

ところで、研究の事前登録にはどのような利点があるのでしょうか? データ収集前に研究手法や分析方法を事前登録することで、「データ収集をした後に、分析結果に符合するような仮説を後付けで立てる」「データ収集をした後に、自分に都合の良い結果が出るような分析方法を恣意的に採用する」「データ収集をした後に、自分に都合の良い結果のみを選択的に報告する」「統計的に有意な結果が出るまでデータを収集し続ける」などの行為をある程度抑止し、研究の透明性が高まると考えられています。

感想

Registered reportに投稿したのは初めてであったため、色々と戸惑うことがありました。まず、Stage 1と2を通して、全部で5人の査読者がいたため、査読に通るまで多くの労力がかかりました。

また、「データ収集や分析の際には、Stage 1 manuscriptに記述した内容から逸脱することは許されない」「データ収集をいつ行ったかがわかるように、タイムスタンプを残しておくこと(in-principle acceptanceの後にデータ収集したことを証明する必要があるため)」などのregistered report独自のルールがあり、最後まで「このやり方で本当にあっているのかな?」という緊張感がありました。

注)Language Learning誌のregistered reportの詳細については、こちらのpdf(13ページあります)をご覧ください。

一方、registered reportの利点としては、データ収集前に研究手法や分析方法等について査読を受けられることがあります。そのため、実際にデータ収集が完了してから、研究手法や分析方法についてダメ出しされることはないため、「Stage 1 manuscriptに記載された通りに研究を進めれば、結果がどうであれアクセプトしてもらえる」という点では安心感がありました。

また、査読者から事前に研究手法や分析計画等についてアドバイスを受けることができるため、まるで査読者に研究指導をして頂いているようで、より良い研究を一緒に作り上げるという貴重な経験をさせて頂きました。

さらに、Stage 2の査読は、「Stage 1 manuscriptに記載された通りに、データ収集や分析を行ったか」「Stage 2 manuscriptに記載された考察が妥当か」という点を中心に行われます。そのため、Stage 2の査読はスムーズに進みました(Stage 2 manuscriptを提出した時点で、「単語カードによる語彙学習には何の意味もないので、この研究は査読に値しない」などとちゃぶ台返しされることはありません)。

最後に、本研究のデータ収集には半沢蛍子先生(東京理科大学)にご協力頂きました。この場を借りてお礼申し上げます。

「英単語学習は第一印象が9割」査読付き国際誌Language Learningに論文が掲載されました

鈴木祐一氏(神奈川大学)とStella He氏(名古屋商科大学)との共著論文が査読付き国際誌Language Learning (Wiley)に掲載されました。

Nakata, T., Suzuki, Y. & He, X. (2023). Costs and benefits of spacing for second language vocabulary learning: Does relearning override the positive and negative effects of spacing? Language Learning, 73. doi:10.1111/lang.12553

https://onlinelibrary.wiley.com/doi/10.1111/lang.12553

この論文はデータを収集する前に研究の事前登録(pre-registration、いわゆるプレレジ)を行い、registered reportとして出版されました。

以下に、研究の概要をご紹介します。

背景

今回の研究の目的は、初回学習時(initial learning)と再学習時(relearning)における復習スケジュールの効果を調べることでした。

これまでの研究では、initial learningにおいて長い復習間隔(long spacing)を用いた方が、短い間隔(short spacing)を用いるよりも長期的な語彙学習を促進することが示されています。

しかし、relearningを行うと、initial learningでのlong spacingの優位性は消滅してしまう可能性も指摘されています(relearning override effectと呼ばれる現象です)。

本研究では、以下の4つの組み合わせを比較することで、initial learningとrelearningにおいてどのようなスケジュールを用いるのが最も効果的かを調べました。

条件 Initial learning Relearning
(1)   Short-Short Short spacing Short spacing
(2)   Short-Long Short spacing Long spacing
(3)   Long-Short Long spacing Short spacing
(4)   Long-Long Long spacing Long spacing

「長い復習間隔を用いた方が、短い間隔を用いるよりも長期的な語彙学習を促進する」というこれまでの研究に基づくと、initial learningとrelearningともに長い復習間隔を使うLong-Long条件(4)が最も効果的だと予想されます。

一方で、「はじめは学習負荷を低くして、後から難易度を徐々に上げた方が良い」という考えによると、initial learningでは短い間隔を用い、relearningでは長い間隔を用いるShort-Long条件(2)が最も効果的だと予想されます。

結果

Relearningの1週間後に行われた事後テスト得点は、以下のようになりました。

Long-Long > Long-Short > Short-Long = Short-Short

4条件の中で最も効果的だったのは、Long-Long条件でした。これは、「長い復習間隔を用いた方が、短い間隔を用いるよりも長期的な語彙学習を促進する」というこれまでの研究結果を支持するものです。

意外なことに、2番目に効果的だったのはLong-Short条件でした。この結果は、「relearningを行うと、initial learningでのlong spacingの優位性は消滅してしまう」という考え(relearning override effect)と一致していません。また、「はじめは学習負荷を低くして、後から難易度を徐々に上げた方が良い」という考えとも異なるものです。

本研究の結果は、「長期的な語彙習得を促進するためには、initial learningで長い復習間隔を用いることが最重要であり、relearningでどのようなスケジュールを用いるかはあまり重要ではない」ということを示唆しています。

人間関係にたとえるなら、「良好な関係を築くためには第一印象が一番大事であり、第一印象が悪いと後からいくら頑張っても挽回できない」と言えるかもしれません。

ということで、この論文の裏タイトルは、「英単語学習は第一印象が9割」になりました。

Registered reportの投稿・査読プロセス

この論文はデータを収集する前に研究の事前登録(pre-registration、プレレジ)を行い、registered reportとして出版されました。

registered reportの投稿・査読プロセスに関しては、この記事の続編をご覧ください。

事前登録(プレレジ)した論文が査読付き国際誌Language Learningに掲載された話