Rytkönen aloitti uransa aikuisten joukkueissa vuonna 1945 KuPSin paidassa. Hän edusti seuraa aina vuoteen 1952 asti, jolloin hän siirtyi ammattilaiseksi Toulouseen. Rytkönen edusti Toulousea kahdeksan kautta ja voitti seurassa Ranskan cupin. Vuonna 1960 hän teki paluun Suomeen ja siirtyi HJK:n pelaajavalmentajaksi. Kauden 1966 jälkeen Rytkönen lopetti aktiiviuransa ja on toiminut sen jälkeen HJK:n, HJK:n naisten, Suomen jalkapallomaajoukkueen ja Tikkurilan Palloseuran päävalmentajana.
