Primero pasas de un formato a otro:
$ ffmpeg -i pelicula.avi -target pal-dvd pelicula.mpg
pal si estas en europa, si estas en america sustituyes pal-dvd por ntsc-dvd

Luego creas la estructura de directorios para que lo pueda leer un reproductor de dvd:

$ dvdauthor -o pelicula -x pelicula.xml

Obs. evito introducir los formatos "<" ">" por ser un blog que soporta sentencias html
"<"dvdauthor">"
"<"vmgm">"
"<"titleset">"
"<"titles">"
"<"pgc">"
"<"vob file="pelicula.mpg" ">"
"<"pgc">"
"<"/titles">"
"<"/titleset">"
"<"/dvdauthor">"

Y ya esta listo para pasarlo a imagen:

$ mkisofs -dvd-video -v -o lolitas.iso lolitas