Csapatai (játékosként): 1968–1975 Újpest FC , 1977–1978  Rot-Weiss Essen, 1978  Rochester Lancers, 1979–1980  Washington Diplomats, 1981  San Jose Earthquakes

Az Újpesti Dózsában

1968-ban került az Újpesti Dózsához a Bp. Spartacus csapatától. Az első idényben második lett a csapattal a bajnokságban és a Vásárvárosok kupájának 1968-69-es döntőjéig jutó csapatnak is tagja volt. Ezt követően sorozatban hétszer nyert bajnokságot az Újpesttel és 1970-es évek elejére állandó csapattaggá kezdett válni, mint beállós vagy középpályás.

Pályája kezdett felfelé ívelni és 1973-ban a válogatottban is bemutatkozott. Az 1973-74-es Bajnokcsapatok Európa-kupája idényben az elődöntős csapat egyik meghatározó játékosa volt. A végső győztes Bayern Münchennel szemben maradtak alul. Ebben az évben az év labdarúgójának választották Magyarországon.

Az Újpesttel háromszor lett Magyar Népköztársasági Kupa-győztes. Az 1975-ös döntőn a szombathelyi Haladás már 2-0-ra vezetett a Népstadionban, de Horváth József három fejesgóljával fordított a Dózsa és megszerezte a kupát.

1975 nyarán rendezte meg először az MLSZ a Bajnokok Tornáját, amelyen a korábbi bajnokcsapatok indulhattak. A döntőt a Honvéd nyerte az Újpesttel ellen. A mérkőzésen Horváth súlyos sérülést okozott Kozma Mihálynak. A sajtó erőteljesen kikezdte és saját bevallása szerint is ez volt az egyik oka, hogy elhagyta az országot.

A Rot-Weiss Essenben

Külföldre távozása után először az NSZK-ban sikerült folytatnia pályafutását. Az 1977-78-as idényben a másodosztályú Rot-Weiss Essenben szerepelt középpályásként, összesen 14 mérkőzésen és a második helyen végeztek a bajnokságban.

Az Egyesült Államokban

1978-ban az Egyesült Államokban telepedett le és négy idényen át játszott az Észak-amerikai labdarúgóligában (NASL) Joe Horvath néven. Első klubja a Rochester Lancers volt, ahol 29 mérkőzésen szerepelt, 6 gólt szerzett és 11 gólpassza volt. A Rochester a Keleti csoportban a negyedik helyen végzett, így nem jutott be a rájátszásba.

Az 1979-es és 1980-as idényben a Washington Diplomats csapatának volt a tagja. Az első idényben 26 mérkőzésen szerepelt, 7 gólt szerzett és 18 gólpassza volt. A csapat a keleti csoport második helyén végzett és továbbjutott, de a rájátszás első körében a Los Angeles Aztecs-szel szemben alul maradt és kiesett. Ennek ellenére ez volt Horváth legsikeresebb idénye a négy közül. A következő idényben csapattársa lett Johan Cruyff. Ebben az idényben már kevesebbszer jutott játék lehetőséghez, csak 13 mérkőzésen szerepelt, 5 gólt szerzett és 6 gólpassza volt. A csapat ugyanúgy a rájátszás első körében esett ki a Los Angeles Aztecs ellen.

A 1981-es idényben a nyugati csoportban szereplő San Jose Earthquakes csapatához szerződött, ahol csapattársa lett George Best. Itt ismét állandó kezdőembernek számított és összesen 27 mérkőzésen szerepelt 3 gólt szerzett 9 gólpassza volt. A csapat csoportja negyedik helyén végzett és nem jutott be a rájátszásba.

Az 1973-74 -es bajnokságban az év labdarúgójának választották.