1930. november 1.-én született Kaposváron.
1942.-ben a Kaposvári Turulban kezdett futballozni, majd játszott még a Kaposvári Kinizsi, Kaposvári Vasutas SE és a Kaposvári Vörös Lobogó csapatában.
Visszavonulása évében 1961-ben tett játékvezetői vizsgát, és e minőségben szépen ívelt pályája. Az MLSZ Játékvezető Bizottságának javaslatára első somogyiként 1971-ben lett nemzetközi játékvezető 1976-os visszavonulásáig. 118 NBI-es mérkőzésen bíráskodott, és 68 nemzetközi találkozót vezetett.
1964-től a MLSZ JB Főtitkára, később elnöke és az Országos Játékvezető Testület Technikai Bizottságának vezetője. 1986-ban beválasztották az MLSZ elnökségébe, ahol 3 cikluson át tevékenykedett a testületben. 1990-ben az elnökség első helyettese lett. Éveken át volt MLSZ JB ellenőr és egy cikluson át a Küldő Bizottság vezetője.
Három alkalommal volt a Kaposvári Rákóczi FC elnöke. 1976-1984 közötti időszakban a Somogy Megyei Labdarúgó Szövetség Főtitkára, majd 20 éven át, 1984-2004 között a SLASZ Elnöke volt. Visszavonulását követően a Somogy Megyei Labdarúgó Szövetség, majd az MLSZ Somogy Megyei Igazgatóság Társadalmi Elnökségének örökös tiszteletbeli elnöke,
Sikerei, díjai:
Szilvási József hosszú és sikeres sportban eltöltött pályafutása során a Somogy megyei labdarúgás ügyét mindig a szívén viselte.
Tisztelettel, szeretettel és jó szívvel fogjuk emlékét őrizni: a Magyar Labdarúgó Szövetség Somogy Megyei Igazgatósága, Társadalmi Elnöksége, kollégái és a Somogy megyei futball közösség.
Ügyfélfogadás
Hétfő 13.00-16.00
Kedd 09.00-12.00
Szerda Szünnap
Csütörtök 13.00-16.00
Péntek 09.00-12.00