Hola buenas, creo que puedes hacer lo que quieres creando una lista de reproducción.
En este hilo uno de los moderadores sugiere crear una biblioteca de fotos, donde también se permiten videos, y al ir organizados por carpetas, poder ver todos los videos de principio a fin sin pausas. Así que prueba a ver si te vale.
De todas formas te dejo un hilo donde tratan el tema del AutoPlay por si te sirve de ayuda para tu caso:
También un artículo de Plex sobre las colas de reproducción:
https://support.plex.tv/articles/202188298-play-queues/
