La llave tendria que cerrar como dices, pero en muchas ocasiones no lo hace, por estar mal , deteriorada la membrana o lo que sea.
En muchas motos ademas no tiene el sistema de vacio (seguridad) y pasa eso que decís.
Asegurate de que es gasolina en el aceite (por el olor es facil de ver o por lo fluido que este) y si dudas cambialo, pero como digo seguramente no cierra alguna boya y el problema es ese; Se desborda el carburador y o bien se va hacia el cilindro o entra por el respiradero de la caja del filtro del aire que es donde se acumula si se desborda la carburacion.
En cualquier caso has de revisar y como siempre digo en estas motos ya con años lo mejor es estar encima. Si revisas el aceite cada poco, lo normal es que te des cuenta de que ha subido el nivel y de esta forma ya sabes que pasa algo.