Posted on

[edm-announce] Final CfP: Workshop on Educational A/B Testing at Scale (Second Virtual Workshop at Learning @ Scale 2021)

  • From: Stephen Fancsali <sfancsali@xxxxxxxxx>
  • To: edm-announce@xxxxxxxxxxxxx
  • Date: Mon, 7 Jun 2021 13:02:22 -0400

[on behalf of Steve Ritter]

*Educational A/B Testing at Scale*
*Second Virtual Workshop at Learning @ Scale 2021*

“There is no simple path that will take us immediately from the
contemporary amateurism of the college to the professional design of
learning environments and learning experiences. The most important step is
to find a place on campus for a team of individuals who are professionals
in the design of learning environments — learning engineers, if you will.”

The emerging discipline of Learning Engineering is focused on putting into
place tools and processes that use the science of learning as a basis for
improving educational outcomes [2]. An important part of Learning
Engineering focuses on improving the effectiveness of educational software.
In many software domains, A/B testing has become a prominent technique to
achieve the software’s goals [3], but educational software tends to lag
other fields in the use of A/B testing, particularly at scale. This
workshop will explore ways in which A/B testing in educational contexts
differs from other domains and proposals to overcome these challenges so
that A/B testing can become a more useful tool in the learning engineer’s

We invite papers (up to 4 pages in CHI Proceedings format) addressing
issues with conducting A/B tests and random assignment experiments at
scale, including those addressing:

   – managing unit of assignment issues
   – measurement, including both short and long-term outcomes
   – practical considerations related to experimenting in school settings,
   MOOCs, & other contexts
   – ethical and privacy issues
   – relating experimental results to learning-science principles
   – understanding use cases (core, supplemental, in-school, out-of-school,
   – accounting for aptitude-treatment interactions
   – A/B testing within adaptive software
   – adaptive experimentation
   – attrition and dropout
   – stopping criteria
   – user experience issues
   – educator involvement and public perceptions of experimentation
   – balancing practical improvements with generalizable science

The Learning@Scale conference will be held virtually. This workshop will be
held from 15:00-20:00 CEST on June 22, 2021.

Details are here:

The submission deadline is June 11. Submissions will be accepted through

See for more information about the conference.

[1] Herbert A. Simon. 1967. The job of a college president. Educational
Record, 48, 68-78.
[2] Melina R. Uncapher (2018): From the science of learning (and
development) to learning engineering, Applied Developmental Science,
[3] Kohavi, R., Deng, A., Frasca, B., Walker, T., Xu, Y., & Pohlmann, N.
(2013, August). Online controlled experiments at large scale. In
Proceedings of the 19th ACM SIGKDD international conference on Knowledge
discovery and data mining (pp. 1168-1176).

Ezoicreport this ad

Other related posts:

  • » [edm-announce] Final CfP: Workshop on Educational A/B Testing at Scale (Second Virtual Workshop at Learning @ Scale 2021) – Stephen Fancsali