Diferencia de potencial.
Lo que sucede es que cuando una batería que conduce un dispositivo produce (digamos) 9 voltios, produce una diferencia de 9 voltios en sus dos terminales. Lo que significa que si midiera el voltaje en el terminal positivo de la batería con respecto a algún otro nodo en su circuito, o algún otro circuito, no verá 9V. El terminal positivo de la batería es 9 voltios más alto que el terminal negativo. Esta diferencia de potencial es lo que impulsa un circuito.
Ahora, si está utilizando un circuito externo con el Arduino, el voltaje de ‘tierra’ de ese circuito no será necesariamente (y generalmente nunca) el voltaje de tierra del Arduino. Del mismo modo, el 5V de Arduino no será un 5V para ese circuito. Por lo tanto, necesita un punto de referencia común para que ambos circuitos se “comprendan” entre sí. Un punto de tierra común desde donde se medirían los voltajes de la batería y Arduino. En una explicación más detallada, esto equivaldría a por qué necesita un circuito “completo” o un bucle.
Esto se suma a la respuesta de Anónimo que explica cómo los electrones necesitan “fluir” comúnmente en todo el circuito.