Scholar Evaluation

このスキルを使用して、再現可能なルーブリックで学術的または科学的な作業を評価します。

使用するタイミング

• 研究論文、提案書、論文章、または文献レビューのレビュー。
• 主張が引用された証拠によって支持されているかの確認。
• 方法論、研究デザイン、分析、または限界の評価。
• 品質または関連性について2つ以上の論文を比較する。
• 改訂のための構造化されたフィードバックの作成。

評価の範囲

まず成果物を特定します:

• 実証的研究論文
• 理論論文
• 技術レポート
• システマティックまたはナラティブ文献レビュー
• 研究提案書
• 論文または学位論文の章
• 学会アブストラクトまたは短い論文

次に範囲を選択します:

• 包括的: すべてのルーブリック次元
• 的を絞った: 1つまたは2つの次元（方法や引用など）
• 比較的: 同じルーブリックに対して複数の作品をランク付け

ルーブリック

該当する各次元を1から5でスコアリング:

• 5: 優れている；明確、厳密で、出版の準備ができている
• 4: 良好；軽微な改善が必要
• 3: 適切；意味のあるギャップがあるが使用可能
• 2: 弱い；実質的な改訂が必要
• 1: 不十分；主要な有効性または明確性の問題

適用されない次元には N/A を使用します。

1. 問題と研究質問

• 問題は明確かつ具体的か？
• 貢献は意義があるか？
• 範囲と前提は明示的か？
• 質問は主張された貢献と一致しているか？

2. 文献とコンテキスト

• 関連する先行研究はカバーされているか？
• 作業はソースを単に列挙するのではなく統合しているか？
• ギャップは正確に特定されているか？
• 最近のソースと基礎的なソースはバランスが取れているか？

3. 方法論

• 方法は研究質問に答えるか？
• デザインの選択は正当化されているか？
• 変数、データセット、参加者、または材料は明確に説明されているか？
• 別の研究者が研究を再現できるか？
• 倫理的および実際的な制約は認識されているか？

4. データと証拠

• データソースは信頼性があり適切か？
• サンプルサイズまたはコーパスのカバレッジは十分か？
• 包含、除外、前処理の決定は文書化されているか？
• 欠損データとバイアスのリスクは議論されているか？

5. 分析

• 統計的、定性的、または計算的方法は適切か？
• ベースラインとコントロールは公正か？
• 必要に応じて不確実性、感度、またはロバスト性のチェックが含まれているか？
• 代替の説明は考慮されているか？

6. 結果と解釈

• 結果は…