伊藤言の研究・教育活動について
2013/05/28 by Gen

オンラインでの実験参加者調達/実験や調査を可能にするために – Amazon Mechanical Turkやその他ソフトウェアについて

 

[2016/04/23:心理学研究におけるクラウドソーシングの利用についてまとめられた文献へのリンクをひとつ追加しました]

[2015/11/14更新:Mturkの値上げに応じて追記しました]

[2015/11/02更新:リンクおよび文献情報を増やし,いくつかのリンク切れを修正しました]

 SPSP2013に参加して最も印象的だったのは、英語圏における実験参加者確保や実験実施の方法が、従来の大学生サンプルに依存する方式から、低価格で大量の参加者を調達できるAmazon Mechanical Turk (以下、MTurk)に圧倒的に移行しつつあることでした。

 これは、インターネットで参加者を募り、オンラインでちょっとしたタスク(実験や調査を含む)に参加してもらうAmazonのプラットフォームを利用したものです。「ふつうの大学院生」がさらっと500人近い実験参加者を確保している様は驚きでもありました。日本でもマクロミルとかオンラインのリサーチ会社が結構ありますが、圧倒的に違うのは、金銭的コストです。日本の調査会社はかなりマージンを抜きますが(400人で20万円など)、MTurkの手数料はそれと比べるとごく僅かなものです(参加者に対する支払額の10%のコミッションをAmazonに支払う。支払総額は、1時間拘束しても1~2ドル程度)。参加者確保方法の革命に近いといっても良いでしょう。

 さらに、時間的コストの節約になる点もかなり大きいでしょう。プログラムを組んで投げておけば(自分が実験者として時間を割いて実験を実施しなくても)データが集まってくるので、一晩で400人×1時間分のデータが揃うなど、時間的コストの大きな節約になります。コストの節約になるだけではありません。1つの仮説を十分な数の参加者を用いて検討することができるので、効果量比較、従来サンプル数が少なくて実施が困難であった統計手法等を用いて研究を厳密化できるメリットもあります。大学生サンプルに参加者が偏ってしまうことも防げるでしょう(参照)。実験結果の再現可能性に対する疑義が呈されていますが(参照)、一つの仮説に対する概念的追試のみならず直接的追試を行うことも比較的容易になるでしょう。そう遠くないうちに、日本でも、たとえばIATなど、パソコンの画面に向かわせれば実行可能な類いの実験は、大部分がオンラインに移行するのではないかと感じました。(あるいは、MTurkを利用して、日本に居ながら英語圏の参加者を直接相手に実験をしてしまえば良いのではないでしょうか。文化間比較もローコストに)

 そこで、オンラインでの参加者確保&実験・調査実施に関する情報を、自分の体験談も含め、随時このページにまとめていきたいと思います。

 

<2016/04/23追記>

心理学研究におけるクラウドソーシングの利用(白木・五十嵐、2015)という文献を、この記事と併せて読まれることをオススメします。

</追記終了>

 

<2015/11/14追記>

 Amazon Mechanical Turkは現在値上がりしています。9人までの参加者を募る場合は、参加者に対する支払額の20%のコミッションをAmazonに支払い、10人以上の参加者を募る場合は、参加者に対する支払額の40%のコミッションをAmazonに支払う形になっています(pricing)。この値上げに対して、たとえばTurkPrimeというシステムを利用して募集を小分けしコミッションを20%の見込みのままに抑えようとしたり(90人募集ではなく9人募集×10セットに小分けするシステム)、あるいはMTurkを離脱して別のシステムを利用しようとする動きも活発に起きているみたいです。こちらのスライドもご参照ください(”How to Avoid MTurk’s Extra 20% Price Gouge: A Click-by-Click Guide for Academic Requesters“)

 Mtrukの代替システムの筆頭候補としては、Prolific Academicに注目が集まっているようです(e.g., researchgate)。Prolific Academicは、参加者に対する支払額の10%がコミッションであり、参加者の縦断的追跡も可能なようです(人口構成)。こちらについてもチェックをされると良いかと思います。その他、SocialScicallforparticipants.comcognilab.comなども。

</追記終了>

 

■Links

◆MTurkの本家サイト

Amazon Mechanical Turk

日本語のMTurkのトップページ

 

◆日本でもYahoo!JapanがMTurkに類似したサービスを運営しています。ただしこれは依頼主が法人でなければ依頼できないサービスのようです。

Yahoo!クラウドソーシング

 

◆日本のサイトで,「日本最大級の仕事依頼サイト」を謳っています。個人単位での依頼が可能。実際に心理学実験を依頼している方もいらっしゃるようです()。Qualtricsなど外部サイトに飛ばすことが可能。 (new)

Lancers

 

◆その他,日本で運営されているクラウドソーシングサイト (new)

CrowdWorks

shufti

 

◆MTurkを用いる際の解説と役立つ文献/リンクが整理されているページ。とりあえず目を通してみることをオススメします (new)

Running experiments with Amazon Mechanical Turk (by Gilad Feldman)

 

◆MTurkを利用して実験を行う際に役立つ情報をまとめているブログ

 Experimental Turk

 Deneme: a blog of experiments on Amazon Mechanical Turk

 Behind the Enemy Lines

 CrowdFlower Blog

 

◆NOTES FROM THE AMAZON MECHANICAL TURK TUTORIAL (Selin Kesebir)

Mturk Guidelines (pdf)

 

◆Amazon Mechanical Turk Guide for Social Scientists(Michael Buhrmester)

MTurk Howto (pdf)

 

◆日本でMturkを利用して実験をされた方(山内肇さん)の覚え書き

 http://www.iser.osaka-u.ac.jp/expss21/outcomes/doc/yamauchi.pdf

 

◆ウェブのクラウドサービスを利用して研究を行う際の(倫理的)ガイドライン(Waterloo大学)

https://uwaterloo.ca/research/sites/ca.research/files/uploads/files/crowdsourcing_guidelines_access_check_done.pdf

 

◆調査系に利用する際に役立つtips

Journalist Guide To Crowdsourced Data Collection With Amazon Mechanical Turk

 

 

■オンラインでRTの測定等を可能にするフリーの実験ソフト

 Thanks to “NEW TOOLS: OPEN SOURCE AND PUBLICITY AVAILABLE TECHNOLOGY FOR SOCIAL PSYCHOLOGICAL RESEARCH” (Schubert et al., Symposium in SPSP2013)

Open source, web-based IAT(フリーのウェブベースIAT)

Scripting RT(ウェブベースでRTの取得を可能にするオープンソースのソフトウェア)

 

■MTurkを通じた実験や調査を補助するツール

TurkGate (Thanks to Adam Darlow & Gideon Goldin) : 同一参加者が類似した実験や調査に参加することを防いだり、実験や調査をプレビューすることを防ぐツール(解説

 

インターネット、ないしAmazon Mechanical Turk等を利用して実験や調査を行うことの妥当性等を検証した論文について

 

Reips, U.-D. (2002). Standards for Internet-Based Experimenting. Experimental Psychology (formerly Zeitschrift für Experimentelle Psychologie), 49, 243-256. doi: 10.1027//1618-3169.49.4.243

Birnbaum, M.H. (2004). Human Research and Data Collection via the Internet. Annual Review of Psychology, 55, 803-832. doi: doi:10.1146/annurev.psych.55.090902.141601

Gosling, S.D., Vazire, S., Srivastava, S., & John, O.P. (2004). Should We Trust Web-Based Studies? A Comparative Analysis of Six Preconceptions About Internet Questionnaires. American Psychologist, 59, 93-104. doi: 10.1037/0003-066X.59.2.93

Paolacci, G., Chandler, J., & Ipeirotis, P. (2010). Running experiments on amazon mechanical turk. Judgment and Decision Making, 5, 411-419. [pdf]

Schnobelen, T., & Kuperman, V. (2010). Using Amazon Mechanical Turk for linguistic research. Psihologija, 43, 441-464. [pdf]

Behrend, T., Sharek, D., Meade, A., & Wiebe, E. (2011). The viability of crowdsourcing for survey research. Behavior Research Methods, 43, 800-813. doi: 10.3758/s13428-011-0081-0

Buhrmester, M., Kwang, T., & Gosling, S.D. (2011). Amazon’s Mechanical Turk: A New Source of Inexpensive, Yet High-Quality, Data? Perspectives on Psychological Science, 6, 3-5. doi: 10.1177/1745691610393980

Sprouse, J. (2011). A validation of Amazon Mechanical Turk for the collection of acceptability judgments in linguistic theory. Behavior Research Methods, 43, 155-167. doi: 10.3758/s13428-010-0039-7

Berinsky, A.J., Huber, G.A., & Lenz, G.S. (2012). Evaluating Online Labor Markets for Experimental Research: Amazon.com’s Mechanical Turk. Political Analysis, 20, 351-368. doi: 10.1093/pan/mpr057 [pdf] [appendix]

Mason, W., & Suri, S. (2012). Conducting behavioral research on Amazon’s Mechanical Turk. Behavior Research Methods, 44, 1-23. doi: 10.3758/s13428-011-0124-6

Rand, D.G. (2012). The promise of Mechanical Turk: How online labor markets can help theorists run behavioral experiments. Journal of Theoretical Biology, 299, 172-179. doi: http://dx.doi.org/10.1016/j.jtbi.2011.03.004

Crump, M.J.C., McDonnell, J.V., & Gureckis, T.M. (2013). Evaluating Amazon’s Mechanical Turk as a Tool for Experimental Behavioral Research. PLoS ONE, 8, e57410. doi: 10.1371/journal.pone.0057410 [pdf]

Woods, A. T., Velasco, C., Levitan, C. A., Wan, X., & Spence, C. (2015). Conducting perception research over the internet: a tutorial review. PeerJ, 3, e1058. doi: 10.7717/peerj.1058

三浦麻子・小林哲郎. (2015).  オンライン調査モニタのSatisficeに関する実験的研究. 社会心理学研究, 31, 1-12. doi: 10.14966/jssp.31.1_1

 

オンラインの実験/調査プラットフォームに関連したQ&A(作成中)

 

Q:今すぐにでも日本にいながらMTurkを利用して実験/調査できる?

A:現在の最大の問題は、アメリカ国内の銀行口座にもとづいてアカウントを作成した人しか雇用主になれないことです(雇われる側にはなれます)。アメリカの愛国者法をAmazon.comが慎重に解釈した結果のようなので、短期的に解決される問題ではないでしょう(参照)。CrowdFlower.com等のサードパーティーのサービスを介すことによって日本(アメリカ国外)からも参加者集めが可能になりますが(paypal支払いが可能)、33%のマージンが上乗せになること、また規約上・倫理上の問題に配慮は必要です。カナダのWaterloo大学のガイドラインは非常に参考になります。

 

Q:相場や実際の感じを掴みたい

A:雇われ側(参加者)には誰でもいますぐなれますので、一度MTurkを利用した実験や調査に参加してみると良いのではないでしょうか。心理学実験の場合こちらをご覧ください。雇い主として参加者を雇った場合にかかる実際のコストは、リンク先の”Reward”を1.463倍した額になります(2013/05/29現在)。MTurkに10%、その10%を加算した額をベースとしてCrowdflowerに33%のマージンを支払う必要があるからです。たとえば、実験参加者に0.5ドルを支払う場合、MTurkに0.05ドル(10%)、Crowdflowerに0.18ドル(33%)を支払うことになりますので、総額0.73ドルとなります。

 

Q:システムのレイヤーを知りたい

A:日本からMTurkを利用したオンライン実験や調査を実施する場合、3つのレイヤーが関わるでしょう。

1.Amazon Mechanical Turk:これは人材紹介マーケット(雇い主と雇われ側を媒介する労働市場)です。ただし、アメリカ国外の人は直接雇い主になれないので、さらに仲介サービスを介する必要があります。

2.Crowdflower:タスクを引き受け、それを小分けして複数のオンライン労働市場に分割して投げる仲介サービスです。日本からMTurkを利用したい場合、Crowdlfowerにタスクを投げ、CrowdflowerがタスクをMturkに投げるという形になります。

3.データ収集システム:1や2が担当するのはあくまで人集めです。さらに、データ収集のためのシステムを構築しなければなりません。Survey Monkey™Qualtrics™ や Inquisit Webといった既存のプラットフォームを利用することもできますし、自前でサーバーを立てて工夫することも可能です。ScriptingRTなどのフリーソフトが関わるのはこのレイヤーです。

 

Q:MTurkを利用して参加者を確保する際に特に気をつけることは?

A:MTurk等のクラウドサービスのポリシーを自己の責任において遵守する必要があることに気をつけましょう。たとえば、MTurkのポリシーには主立ったものとして以下の内容が含まれています。

・個人情報やEmailアドレスを直接的・間接的に尋ねてはダメ(したがって、参加同意書で氏名・アドレスを尋ねるのもダメ)
・他のウェブサイトやグループへの登録を求めてはダメ
・特定のサイトやサービス、思想や意見をプロモートするためのタスクはダメ
・投票行為を求める等してはダメ
・有害な内容(例:性的な内容)には制限がある
・サイトへの訪問、クリックスルーを目的としたタスクはダメ
・知的財産権を侵害するタスクはダメ
・ソフトウェアのダウンロードを求めるタスクはダメ


最後の点はオンライン実験を実施するにあたって微妙なところなのですが、たとえばInquisit Web等の実験実施用プログラム(Java Applet等)を一時的にダウンロードさせて実験を実施することはグレーゾーンとして許容されているようです。

  •   •   •   •   •

コメントを残す

メールアドレスが公開されることはありません。