Además de su carrera como actor, comediante y conductor, en su trayectoria también fue deportista de alto rendimiento.
"Chabelo" practicaba lucha grecorromana y casi representa a México en los Juegos Olímpicos de Helsinki 1952.
Su físico (tamaño y peso) le ayudó a destacar en la lucha olímpica, cuando tenía 17 años fue el gran vencedor en competencias regionales y en el Campeonato Nacional, en este último ganó su clasificación a los Juegos Olímpicos.
"Chabelo" acudió al abanderamiento de la delegación mexicana, misma que en la que estuvo el presidente Miguel Alemán Valdés.
Aunque ya tenía todo listo, un federativo mexicano acabó con el sueño de "Chabelo" al pedirle 40 mil pesos para cubrir el costo del viaje, dicha cifra estaba lejos del alcance de la familia de Xavier, así que no pudo acudir a los Juegos Olímpicos.
"Lloré mucho aquellos días, al competidor de 24 años que derroté a la buena, fue a quien le dieron mi lugar, todavía recuerdo que su apellido era Rosado", recordó "Chabelo" en una entrevista.
Pese a no acudir a los Juegos Olímpicos de Helsinki 1952, "Chabelo" permaneció cercano al deporte, fue tackle defensivo de los Pumas, mientras estaba en la preparatoria, posteriormente comenzó su carrera en la actuación.