Als er sechs Jahre alt war rettete ihn sein Bruder Kunio vor dem Ertrinken.
Bei der Vierschanzentournee 1971/72 gewann er die ersten drei Konkurrenzen und war grosser Favorit auf den Gewinn der Gesamtwertung. Vor dem letzten Bewerb in Bischofshofen musste er aber nach Japan zurückkehren um an der nationalen Ausscheidung für die Olympischen Spiele in Sapporo teilzunehmen.
Mit seinem Sieg 1972 wurde er der erste japanische Goldmedaillengewinner bei Winterspielen.
Kasaya ist Mitglied im Skisprungkomitee der FIS und als Sprungrichter tätig.