伊藤言の研究・教育活動について
2015/05/25 by Gen

2015年度の研究発表予定

[最終更新日 2015/07/21]

 

2015年度の研究発表予定について随時情報の掲載を行います。

 

・日本心理学会(9/24、13:10-15:10)(名古屋大学、名古屋)

伊藤言・高野陽太郎. なぜ人は政治的に左と右に分かれるのか?―抑制機能と道徳基盤の政治的イデオロギーに対する影響.(ポスター発表)[paper]

 

・日本社会心理学会(10/31~11/1)(東京女子大学、東京)

伊藤言・江良聡浩・高野陽太郎. 日常において心理的距離は行為解釈の抽象度や対人認知に影響しているか? (口頭発表)[paper]

(経験サンプリング法を通じた検討)

 

・Society for Personality and Social Psychology (SPSP)(2016/1/28-30) (San Diego, USA)

Ito, G., Era, A., & Takano, Y. Construal level, power, and person perception in everyday life: An experience sampling study. (accepted)

 

  •   •   •   •   •
2015/03/05 by Gen

SPSP2015で情報収集した役立つツールその他

[2015/03/05更新]

 

 社会心理学系の最大規模の国際学会であるSPSPにはかれこれ毎年参加しているわけですが、つい先日も参加してきました。SPSPではアメリカでスタンダードになりつつある方法論(考え方)は何なのかについての情報収集、役立つ新しいツールやプラットフォームについての情報収集、今どこにアテンションが集まっているのかという潮目を感じることが大きな楽しみだったりします。というわけで、今後の研究に役立ちそうな話をいくつかメモしたのでここにまとめておきます。

 

◆研究計画・統計関係

 

・実験を行うとき、1セル(1条件)何人の実験参加者を使うのか?

 社会心理学において平均的な中程度付近の効果量 (d = 0.45) を検出したいとして、1セル(1条件)何人で実験を組み立てれば良いのか?日本の研究室の伝統に従っているとヒューリスティックに1条件15人で組み立てる場合がままあるようですが[要出典]、Simmons et al. (Psychol Sci, 2011; 日本語レジュメ) 論文で述べられているように最低でも1セル20人で実験を組み立てる場合が多くなってきたように感じます。アメリカでは1セル30人が現在もっとも多いヒューリスティックな実験計画の立て方のようですが[要出典]、Alison Ledgerwoodという研究者は、研究室として「特に理由がない場合は(事前に効果量が予測できずに検定力分析を行いにくい場合は)最低1セル50人で実験計画を立てる」というヒューリスティクスを採用してそれなりにうまくいっているようです。

 曰く、1セル20人だと(2条件比較の場合に)小さな効果量を検出できる確率(検定力)は10%以下、中程度の効果量を検出できる確率は34%にとどまるのだけれども、1セル50人だと小程度で17%、中程度で70%の確率だからだとか(ちなみにメタ分析論文によれば2×2デザインの場合は1セル30人で69%だとか;Westfall et al.のSPSP2015における発表スライドより)。「有意差が出なくても研究結果に自信を持てるような研究を組み立てよう」「自分たちのデータを信頼できるものにしてもっと多くをデータから学べるようにしよう」という彼女のメッセージには同意せざるをえません。とはいえ、MTurk等がない日本では実験参加者調達のコストが確実にアメリカよりも高く、現実的には「ざっと1セル30人あたり」がこれからの落し所になるのかもしれません。(あるいは少なくともhuman universalな心理メカニズムを想定できる場合は日本からMTurkを用いてアメリカ・インドの参加者を相手に1セル50人程度の実験も併せて行って自らの研究知見をメタ分析した方が良いのかもしれません)

 

・検定力分析 (power analysis)

 とはいえ、先行研究から効果量についてある程度予測が可能な場合、検定力分析を行う方が良いでしょう。検定力分析について、新しいツールが登場しているようです。検定力分析ではG*Powerが有名だと思うのですが、今回紹介されていたのは、固定効果と変量効果双方を扱える、一般化線形混合モデルにおける検定力分析も可能な(Rを用いた)Webアプリ、PANGEA。実験デザインにおいて、実験参加者数と実験で用いる刺激数の2つのパラメターから検定力を追い求めていくことが可能です(わたしたちはしばしば刺激数が検定力に与える影響について考えずに実験を行ってしまう)。関連するプレゼンスライド等は作者のJake Westfallのサイトからどうぞ。

 その他、”Actor-Partner Interdependence Model”における検定力分析ツールとしてAPIM Powerをメモ。

 

・Sequential Analysisについて

 実験を行って、ある程度人数が集まったら統計的検定にかけて、有意差がまだ出ていないからもう少し人数を足そうとサンプル数をさらに増やしてふたたび統計的検定にかける…この習慣は第1種の過誤 (false positive)の確率を上昇させてしまうため近年「p値のねつ造(p-hacking)」として厳しく非難されてきました (e.g., Simmons et al., Psychol Sci, 2011)。しかし、いくつかの研究室がこの習慣を積極的に利用する”sequential analysis”と呼ばれる手法を取り入れつつあるようです。これは、SESOI (Smallest Effect Size of Interest; 最低限これ以下の効果量ならばダメねという基準)を設定した上でデータを収集するごとに統計的分析を行って、条件間に差が認められそうか(帰無仮説を棄却するか)、差が認められなさそうか(帰無仮説を採択するか)を都度モニタリング可能な手法なようです。見込みがないのに研究を続けるという社会にとっての無駄を防ぐ手法なんだという点をプレゼンターのLakensは強く主張していました。まだ詳細については理解しきれていませんが、今回のSPSPでこのsequential analysisについて扱ったスライドがOpen Science Frameworkに公開されています。論文としては Lakens & Evers (Pers on Psychol Sci, 2014) 、および Lakens (EJSP, 2014) あたりでしょうか。

 

・研究を行う上での妥当なプラクティス

  ある仮説を検証するためにデータを収集して、思うような結果が出なかったので、そのデータの中で(統計的に)結果が出たところをあたかも当初からそう想定していたかのようにロジックを組み替えて仮説検証的な論調で議論する…近年厳しく非難されているp-hacking(p値のねつ造)の習慣のひとつです。この悪しき習慣をやめよう、というのは今年の学会においても相変わらず大きなメッセージでした。ある統計的な結果を得たとして、それが(当初想定されていたような形で結果が出たという意味において)検証的 (confirmatory) なものなのか、それとも(当初想定されていたのとは別の形で結果が出たという意味において)探索的 (exploratory) なものなのか、をきちんと区別して明示しようということです。このp-hackingを防ぐために提唱されていた望ましい習慣はシンプルなものでした。1.十分な検定力を確保した上で研究デザインを組み、データ収集前に想定していた仮説が検証された場合は自信を持っていい (high confidenceな)研究知見である。2.当初想定していた仮説とは異なる形で結果が出てきた場合は自信を持ってはいけない (low confidenceな) 研究知見である。3.high confidenceな研究知見の場合はpublishなど先の段階に進め。low confidenceな研究知見の場合は、単純に、今度は(予想とは違って得られた)その仮説を仮説検証型の研究でreplicateしろ。それによってreplicateされた場合はpublishなどの先の段階へ進め。ここら辺の問題はとかく議論が複雑になって「めんどくさいしいいや」となりがちなので、high confidenceかlow confidenceか、というシンプルな二分法で考えようということです。

 研究開始前に、実験計画、仮説、分析手法を明示してWeb上に明記するpre-registrationの動きが強力に進んでいます。具体的には、p-hackingを防ぐために、1.研究の方法、2.仮説の方向性、3.検定力分析の結果・ターゲットとなる参加者数・データ除外の基準、4.仮説検証型、あるいは探索型のデータ分析の計画の4つを事前に明記しておくことが望まれているそう。いわば、研究者は自分の都合の良いようにバイアスがけてデータを分析する(それは仕方がない)ので、制度として人間である研究者のバイアスを縛ろうということです。少なくともわたしたち日本人のレベルにおいて役立つものとして、(今回紹介されていましたが)研究室単位でLab Archive Form (by Ledgerwood) を記入する習慣が挙げられるのではないでしょうか。

 なるほどなと思ったのは、”build contingency to your pre-registration!” というLedgerwoodのメッセージ。つまり、もしα係数が0.6を超えていたらA分析をするけれど、それを下回ったら探索的因子分析を行ってしかじか…という風にpre-registerする事前の分析計画に偶然(条件分岐)を許す形でregisterせよということです。

 

・研究を評価する側(incl. 査読者)に求められること

  p-hackingを防ぐために厳しい基準を研究者に求めるならば、研究を評価する側の認識も同時に変化しなければならない、という問題意識は多くの研究者に共有されているようです。このことに関するプレゼン (by John Banner) で発せられたメッセージはシンプルで力強いものでした。タイトルは ” a reviewers guide to embracing imperfection” (不完全であることを許容するための査読者向けガイド)。簡単に言えば、1.研究で発したいメッセージの核となる部分でデータがメッセージを支持しているかどうかを吟味せよ(メッセージの核とならない部分でのデータの不完全さを許容せよ)ということ、そして2.研究を評価する側もメタ分析的思考で研究を評価せよ(ひとつの実験結果などに不完全な部分(例:有意差なし)があったとしてもそのことで研究を無価値だと評価するな。すべての実験がすべて完璧に仮説をサポートすることを求めるな。論文の中に含まれる複数の実験結果をトータルでメタ分析したときに、そのメタ分析の結果が仮説をサポートするならばそれで論文をよしとせよ)ということです。ひとつの論文内でのメタ分析はこれまで以上にスタンダードなプラクティスになっていくのでしょう。ここら辺の議論は Manner (Pers on Psychol Sci, 2014) にまとめられているようです。

 

◆日常生活における認知についての研究関係

 

 実験室で厳密に統制された環境下で心を探るアプローチが相対的に減少し、日常の中での人々の認知を探る方向の研究が大幅に増えた印象を受けました。もちろん、これは多くの人がスマートフォンを持つようになり研究者がローコストで日常での人々の振る舞いについてのデータを収集できるようになったからでしょう。

 ここからは完全に私見ですが、次のような潮目を強く感じました。1.人々の心について実験室で厳密に探るならば、「構成概念」というあやふやなもので心のメカニズムを説明することをなるべく避けるために、神経科学的に/biologicalにgroundedした形で議論可能な生理学・神経科学ベースの手法を組み込んだ研究をせよ(例:「行動レベルの独立変数の操作→神経科学的変動→行動レベルの従属変数の変化」のような媒介分析的研究)。2.もしそのような研究を行わないならば、反応時間や構成概念ベースで心のメカニズムを探る研究を行うよりも、現実世界に飛び出して、現実世界におけるどのような独立変数(例:ある人の1年間の募金額)と、現実世界におけるどのような従属変数(例:Facebookでの友人数)が結びついているかを、(なかばビッグデータという形で)モデリングせよ。中途半端に実験を行って構成概念レベルで「心のメカニズム」を議論するよりも、現実世界におけるある変数と別の変数の結びつきの関数を明らかにしてやった方が良いという(技術の発展に裏打ちされた)行動主義的アプローチの復権。

 その中でも、有用なツールがいくつか紹介されていたのでメモしておきます。

 

・(自己報告式ではない)経験サンプリング的手法関連 (mobile sensing)

 1日のうちランダムな時間に5回シグナルが7日間送られてくる…シグナルが送られてくるたびに参加者はボタンを押して回答をする…「あなたはいまどんな気分ですか?」「誰と一緒にいますか?」…このような古典的な経験サンプリング法が新たな脚光を浴びていますが (e.g., Hofmann et al., Science, 2014)、今回のSPSPでホットだったのは「どんな気分ですか?」のような自己報告式のデータだけに頼らない経験サンプリング的手法でした。考えてみればスマホには録音機能も録画機能もGPSも加速度センサーも備わっているわけで、これらを利用すれば経験サンプリング的手法で「行動データ」も取ることが可能になるわけです。たとえば、30分に1回30秒程度自動でスマホが音声を録音してそのデータを研究者がコーディングすれば、それは客観的な行動データになるでしょう。GPSデータを利用すれば社会的ネットワークについての分析が可能になるでしょう。”What is it to be like someone else?” (誰か別の人になりきるってどんなこと?) また、これら「行動データ」と従来の経験サンプリング法的な自己報告式データを組み合わせることで、心理世界と物理世界のマッピングをより的確に行うことが可能になります。自己報告式測定の比重が減れば、参加者の負担が減るメリットも大きいかもしれません(データの自動収集)。このような研究手法で「人か状況か」問題に巧みなひとつの回答を与えた研究 (by R. Sherman) はきわめて興味深かったのですが、ありがたいのは、この「行動データ」をスマホで取るための研究計画に役立つツールやプラットフォームをすぐに作ってしまうところ。というわけで、まだあまりいじれていないのですが、メモとしていくつかをご紹介。

 

・・Emotion Sense,  EasyM

研究者がスマホを利用して人々の行動データを測定することを支援するためのツール(プラットフォーム)。特にEasyMが研究支援ツール。現在招待制で私はまだいじることができていませんが、期待が大きいです。

・・Experience Sampler

従来(自己報告式回答)型の経験サンプリング研究を行うためのスマホアプリ(Android & iOS対応)を簡単に作成できるプラットフォーム。シグナルを送信するのではなく、アプリでデータが取れるので、スマホがインターネットに接続されていることを前提としなくて良いし、複雑なデザインを組むことが可能。

 

 最後に。このような形での研究手法に付随する倫理的問題について、「研究に参加する本人についてはインフォームドコンセントで特に問題にならない。問題なのは、研究に参加する人とたまたま一緒にいる(研究について知らない)別の誰かのプライバシーをいかに確保するかだ」とのこと。音声データを匿名性を高めるためにピッチ変換したり、ここら辺の問題について頭を悩ませることが多いそうです。

  •   •   •   •   •
2014/05/20 by Gen

2014年度の研究発表予定

[最終更新日 2015/02/04]

 

2014年度の研究発表予定について随時情報の掲載を行います。

 

・日本社会心理学会(7/26~7/27)(北海道大学、北海道)

伊藤言・田中良幸・高野陽太郎. 抽象的解釈は利他的行動を促進するか?―囚人のジレンマゲームを通じた検討.(口頭発表)

伊藤言. なぜ「ウヨ」と「サヨ」は相容れないのか?― 政治的イデオロギー研究におけるMoral Foundation Theoryの日本での適用可能性についての予備的検討(インフォーマル・ポスター発表予定)

 

・Culture Development and Evolution研究会(8/4)(東京大学、東京)

伊藤言. 解釈の抽象度に応じた他者理解(対人認知)の変化.(口頭発表)

 

・日本社会心理学会夏合宿セミナー(8/29~8/30)(八王子セミナーハウス、東京)

伊藤言. 解釈の抽象度に応じた対人認知の変動過程の検討.(口頭発表)

 

・日本グループ・ダイナミックス学会(9/6~9/7)(東洋大学、東京)

伊藤言・高野陽太郎. 「道徳的偽善」は他者の道徳的逸脱に対する判断に転移するか?―解釈の抽象度に応じた道徳認知の変動(口頭発表)

 

・日本心理学会(9/10~9/12)(同志社大学、京都)

伊藤言・柴田健史・高野陽太郎. 外国語で情報を呈示すると大量の情報処理が必要な意思決定の質が向上する.(ポスター発表)

若田忠之・正田悠・伊藤言 (企画)・門地里絵・三浦久美子・中野詩織 (話題提供) ・若田忠之 (指定討論) ・正田悠・伊藤言(司会). 感性の統合的理解に向けて:におい・香り研究からのアプローチ. (公募シンポジウム)

 

・東京大学大学院人文社会系研究科心理学研究室 大学院研究会(12/2)(東京大学、東京)

伊藤言・中川武治. なぜ人は政治的に右と左に分かれるのか?―道徳基盤と抑制機能の観点からの研究.(口頭発表)

 

・The 16th annual meeting of the Society for Personality and Social Psychology (SPSP)(Poster Session F – Motivation/Goals Saturday, February 28, 2015
12:30 PM – 2:00 PM)(California, USA)

Ito, G., Imai, R., & Takano, Y.  Primed global to feel psychological distance closer: The distinct effects of Navon-induced processing bias on construal level and psychological distance estimation. 

 

・早稲田大学消費者行動研究所 解釈レベル理論研究会(2015/3/12、15:00~)(早稲田大学)発表予定

伊藤言. 何を解釈する解釈レベルなのか?―解釈する対象を踏まえた解釈レベル理論研究の可能性について

 

■アウトリーチ活動

ラジオNIKKEI第2 RN2 Story 出演(9/15~9/19, 22:20-22:25)

 

  •   •   •   •   •
2013/05/28 by Gen

オンラインでの実験参加者調達/実験や調査を可能にするために – Amazon Mechanical Turkやその他ソフトウェアについて

 

[2016/04/23:心理学研究におけるクラウドソーシングの利用についてまとめられた文献へのリンクをひとつ追加しました]

[2015/11/14更新:Mturkの値上げに応じて追記しました]

[2015/11/02更新:リンクおよび文献情報を増やし,いくつかのリンク切れを修正しました]

 SPSP2013に参加して最も印象的だったのは、英語圏における実験参加者確保や実験実施の方法が、従来の大学生サンプルに依存する方式から、低価格で大量の参加者を調達できるAmazon Mechanical Turk (以下、MTurk)に圧倒的に移行しつつあることでした。

 これは、インターネットで参加者を募り、オンラインでちょっとしたタスク(実験や調査を含む)に参加してもらうAmazonのプラットフォームを利用したものです。「ふつうの大学院生」がさらっと500人近い実験参加者を確保している様は驚きでもありました。日本でもマクロミルとかオンラインのリサーチ会社が結構ありますが、圧倒的に違うのは、金銭的コストです。日本の調査会社はかなりマージンを抜きますが(400人で20万円など)、MTurkの手数料はそれと比べるとごく僅かなものです(参加者に対する支払額の10%のコミッションをAmazonに支払う。支払総額は、1時間拘束しても1~2ドル程度)。参加者確保方法の革命に近いといっても良いでしょう。

 さらに、時間的コストの節約になる点もかなり大きいでしょう。プログラムを組んで投げておけば(自分が実験者として時間を割いて実験を実施しなくても)データが集まってくるので、一晩で400人×1時間分のデータが揃うなど、時間的コストの大きな節約になります。コストの節約になるだけではありません。1つの仮説を十分な数の参加者を用いて検討することができるので、効果量比較、従来サンプル数が少なくて実施が困難であった統計手法等を用いて研究を厳密化できるメリットもあります。大学生サンプルに参加者が偏ってしまうことも防げるでしょう(参照)。実験結果の再現可能性に対する疑義が呈されていますが(参照)、一つの仮説に対する概念的追試のみならず直接的追試を行うことも比較的容易になるでしょう。そう遠くないうちに、日本でも、たとえばIATなど、パソコンの画面に向かわせれば実行可能な類いの実験は、大部分がオンラインに移行するのではないかと感じました。(あるいは、MTurkを利用して、日本に居ながら英語圏の参加者を直接相手に実験をしてしまえば良いのではないでしょうか。文化間比較もローコストに)

 そこで、オンラインでの参加者確保&実験・調査実施に関する情報を、自分の体験談も含め、随時このページにまとめていきたいと思います。

 

<2016/04/23追記>

心理学研究におけるクラウドソーシングの利用(白木・五十嵐、2015)という文献を、この記事と併せて読まれることをオススメします。

</追記終了>

 

<2015/11/14追記>

 Amazon Mechanical Turkは現在値上がりしています。9人までの参加者を募る場合は、参加者に対する支払額の20%のコミッションをAmazonに支払い、10人以上の参加者を募る場合は、参加者に対する支払額の40%のコミッションをAmazonに支払う形になっています(pricing)。この値上げに対して、たとえばTurkPrimeというシステムを利用して募集を小分けしコミッションを20%の見込みのままに抑えようとしたり(90人募集ではなく9人募集×10セットに小分けするシステム)、あるいはMTurkを離脱して別のシステムを利用しようとする動きも活発に起きているみたいです。こちらのスライドもご参照ください(”How to Avoid MTurk’s Extra 20% Price Gouge: A Click-by-Click Guide for Academic Requesters“)

 Mtrukの代替システムの筆頭候補としては、Prolific Academicに注目が集まっているようです(e.g., researchgate)。Prolific Academicは、参加者に対する支払額の10%がコミッションであり、参加者の縦断的追跡も可能なようです(人口構成)。こちらについてもチェックをされると良いかと思います。その他、SocialScicallforparticipants.comcognilab.comなども。

</追記終了>

 

■Links

◆MTurkの本家サイト

Amazon Mechanical Turk

日本語のMTurkのトップページ

 

◆日本でもYahoo!JapanがMTurkに類似したサービスを運営しています。ただしこれは依頼主が法人でなければ依頼できないサービスのようです。

Yahoo!クラウドソーシング

 

◆日本のサイトで,「日本最大級の仕事依頼サイト」を謳っています。個人単位での依頼が可能。実際に心理学実験を依頼している方もいらっしゃるようです()。Qualtricsなど外部サイトに飛ばすことが可能。 (new)

Lancers

 

◆その他,日本で運営されているクラウドソーシングサイト (new)

CrowdWorks

shufti

 

◆MTurkを用いる際の解説と役立つ文献/リンクが整理されているページ。とりあえず目を通してみることをオススメします (new)

Running experiments with Amazon Mechanical Turk (by Gilad Feldman)

 

◆MTurkを利用して実験を行う際に役立つ情報をまとめているブログ

 Experimental Turk

 Deneme: a blog of experiments on Amazon Mechanical Turk

 Behind the Enemy Lines

 CrowdFlower Blog

 

◆NOTES FROM THE AMAZON MECHANICAL TURK TUTORIAL (Selin Kesebir)

Mturk Guidelines (pdf)

 

◆Amazon Mechanical Turk Guide for Social Scientists(Michael Buhrmester)

MTurk Howto (pdf)

 

◆日本でMturkを利用して実験をされた方(山内肇さん)の覚え書き

 http://www.iser.osaka-u.ac.jp/expss21/outcomes/doc/yamauchi.pdf

 

◆ウェブのクラウドサービスを利用して研究を行う際の(倫理的)ガイドライン(Waterloo大学)

https://uwaterloo.ca/research/sites/ca.research/files/uploads/files/crowdsourcing_guidelines_access_check_done.pdf

 

◆調査系に利用する際に役立つtips

Journalist Guide To Crowdsourced Data Collection With Amazon Mechanical Turk

 

 

■オンラインでRTの測定等を可能にするフリーの実験ソフト

 Thanks to “NEW TOOLS: OPEN SOURCE AND PUBLICITY AVAILABLE TECHNOLOGY FOR SOCIAL PSYCHOLOGICAL RESEARCH” (Schubert et al., Symposium in SPSP2013)

Open source, web-based IAT(フリーのウェブベースIAT)

Scripting RT(ウェブベースでRTの取得を可能にするオープンソースのソフトウェア)

 

■MTurkを通じた実験や調査を補助するツール

TurkGate (Thanks to Adam Darlow & Gideon Goldin) : 同一参加者が類似した実験や調査に参加することを防いだり、実験や調査をプレビューすることを防ぐツール(解説

 

インターネット、ないしAmazon Mechanical Turk等を利用して実験や調査を行うことの妥当性等を検証した論文について

 

Reips, U.-D. (2002). Standards for Internet-Based Experimenting. Experimental Psychology (formerly Zeitschrift für Experimentelle Psychologie), 49, 243-256. doi: 10.1027//1618-3169.49.4.243

Birnbaum, M.H. (2004). Human Research and Data Collection via the Internet. Annual Review of Psychology, 55, 803-832. doi: doi:10.1146/annurev.psych.55.090902.141601

Gosling, S.D., Vazire, S., Srivastava, S., & John, O.P. (2004). Should We Trust Web-Based Studies? A Comparative Analysis of Six Preconceptions About Internet Questionnaires. American Psychologist, 59, 93-104. doi: 10.1037/0003-066X.59.2.93

Paolacci, G., Chandler, J., & Ipeirotis, P. (2010). Running experiments on amazon mechanical turk. Judgment and Decision Making, 5, 411-419. [pdf]

Schnobelen, T., & Kuperman, V. (2010). Using Amazon Mechanical Turk for linguistic research. Psihologija, 43, 441-464. [pdf]

Behrend, T., Sharek, D., Meade, A., & Wiebe, E. (2011). The viability of crowdsourcing for survey research. Behavior Research Methods, 43, 800-813. doi: 10.3758/s13428-011-0081-0

Buhrmester, M., Kwang, T., & Gosling, S.D. (2011). Amazon’s Mechanical Turk: A New Source of Inexpensive, Yet High-Quality, Data? Perspectives on Psychological Science, 6, 3-5. doi: 10.1177/1745691610393980

Sprouse, J. (2011). A validation of Amazon Mechanical Turk for the collection of acceptability judgments in linguistic theory. Behavior Research Methods, 43, 155-167. doi: 10.3758/s13428-010-0039-7

Berinsky, A.J., Huber, G.A., & Lenz, G.S. (2012). Evaluating Online Labor Markets for Experimental Research: Amazon.com’s Mechanical Turk. Political Analysis, 20, 351-368. doi: 10.1093/pan/mpr057 [pdf] [appendix]

Mason, W., & Suri, S. (2012). Conducting behavioral research on Amazon’s Mechanical Turk. Behavior Research Methods, 44, 1-23. doi: 10.3758/s13428-011-0124-6

Rand, D.G. (2012). The promise of Mechanical Turk: How online labor markets can help theorists run behavioral experiments. Journal of Theoretical Biology, 299, 172-179. doi: http://dx.doi.org/10.1016/j.jtbi.2011.03.004

Crump, M.J.C., McDonnell, J.V., & Gureckis, T.M. (2013). Evaluating Amazon’s Mechanical Turk as a Tool for Experimental Behavioral Research. PLoS ONE, 8, e57410. doi: 10.1371/journal.pone.0057410 [pdf]

Woods, A. T., Velasco, C., Levitan, C. A., Wan, X., & Spence, C. (2015). Conducting perception research over the internet: a tutorial review. PeerJ, 3, e1058. doi: 10.7717/peerj.1058

三浦麻子・小林哲郎. (2015).  オンライン調査モニタのSatisficeに関する実験的研究. 社会心理学研究, 31, 1-12. doi: 10.14966/jssp.31.1_1

 

オンラインの実験/調査プラットフォームに関連したQ&A(作成中)

 

Q:今すぐにでも日本にいながらMTurkを利用して実験/調査できる?

A:現在の最大の問題は、アメリカ国内の銀行口座にもとづいてアカウントを作成した人しか雇用主になれないことです(雇われる側にはなれます)。アメリカの愛国者法をAmazon.comが慎重に解釈した結果のようなので、短期的に解決される問題ではないでしょう(参照)。CrowdFlower.com等のサードパーティーのサービスを介すことによって日本(アメリカ国外)からも参加者集めが可能になりますが(paypal支払いが可能)、33%のマージンが上乗せになること、また規約上・倫理上の問題に配慮は必要です。カナダのWaterloo大学のガイドラインは非常に参考になります。

 

Q:相場や実際の感じを掴みたい

A:雇われ側(参加者)には誰でもいますぐなれますので、一度MTurkを利用した実験や調査に参加してみると良いのではないでしょうか。心理学実験の場合こちらをご覧ください。雇い主として参加者を雇った場合にかかる実際のコストは、リンク先の”Reward”を1.463倍した額になります(2013/05/29現在)。MTurkに10%、その10%を加算した額をベースとしてCrowdflowerに33%のマージンを支払う必要があるからです。たとえば、実験参加者に0.5ドルを支払う場合、MTurkに0.05ドル(10%)、Crowdflowerに0.18ドル(33%)を支払うことになりますので、総額0.73ドルとなります。

 

Q:システムのレイヤーを知りたい

A:日本からMTurkを利用したオンライン実験や調査を実施する場合、3つのレイヤーが関わるでしょう。

1.Amazon Mechanical Turk:これは人材紹介マーケット(雇い主と雇われ側を媒介する労働市場)です。ただし、アメリカ国外の人は直接雇い主になれないので、さらに仲介サービスを介する必要があります。

2.Crowdflower:タスクを引き受け、それを小分けして複数のオンライン労働市場に分割して投げる仲介サービスです。日本からMTurkを利用したい場合、Crowdlfowerにタスクを投げ、CrowdflowerがタスクをMturkに投げるという形になります。

3.データ収集システム:1や2が担当するのはあくまで人集めです。さらに、データ収集のためのシステムを構築しなければなりません。Survey Monkey™Qualtrics™ や Inquisit Webといった既存のプラットフォームを利用することもできますし、自前でサーバーを立てて工夫することも可能です。ScriptingRTなどのフリーソフトが関わるのはこのレイヤーです。

 

Q:MTurkを利用して参加者を確保する際に特に気をつけることは?

A:MTurk等のクラウドサービスのポリシーを自己の責任において遵守する必要があることに気をつけましょう。たとえば、MTurkのポリシーには主立ったものとして以下の内容が含まれています。

・個人情報やEmailアドレスを直接的・間接的に尋ねてはダメ(したがって、参加同意書で氏名・アドレスを尋ねるのもダメ)
・他のウェブサイトやグループへの登録を求めてはダメ
・特定のサイトやサービス、思想や意見をプロモートするためのタスクはダメ
・投票行為を求める等してはダメ
・有害な内容(例:性的な内容)には制限がある
・サイトへの訪問、クリックスルーを目的としたタスクはダメ
・知的財産権を侵害するタスクはダメ
・ソフトウェアのダウンロードを求めるタスクはダメ


最後の点はオンライン実験を実施するにあたって微妙なところなのですが、たとえばInquisit Web等の実験実施用プログラム(Java Applet等)を一時的にダウンロードさせて実験を実施することはグレーゾーンとして許容されているようです。

  •   •   •   •   •
2012/11/16 by Gen

2012年度の学会発表予定

 

2012/12/13時点で以下の通りとなっています。

 

・日本心理学会 (9/11~13、専修大学)

・9 月11日(火) ワークショップ 指定討論者 13:00~15:00

 「WS029 感性の統合的理解に向けて-若手心理学者と制作者からの提言- 977」

・9 月13日(木) ポスター発表  10:00~12:00

 「死の脅威(存在脅威)の管理に解釈レベルが与える影響」

 

・日本グループ・ダイナミックス学会 (9/22~23、京都大学)

9 月23日(日) ポスター発表 10:00~12:00

「死の脅威とその管理―解釈レベルの観点からの検討」

 

・日本社会心理学会 (11/17~18、つくば国際会議場)

ポスター発表 02 (大ホール入口)  11/18(日)11 : 15〜12 : 45

「解釈レベルと共感性(社会的距離)――自他の区分」

 

・Annual Meeting of the Society for Personality and Social Psychology

(2013/1/17~19, Ernest N. Morial Convention Center, New Orleans, US)

“Construal level analysis of Mortality Salience.”

Poster Session D-Attitudes/Persuasion
Friday, January 18
6:30 – 8:00 pm

 

  •   •   •   •   •