Fudbalsku karijeru počeo je 1954. godine u omladinskom pogonu sarajevskog Željezničara, za čiji prvi tim debituje 1959. godine na utakmici protiv Proletera iz Osijeka.
Nakon devet godina provedenih u Željezničaru, u decembru 1968. godine odlazi u holandski Cvole.
Zbog povrede koljena tamo ostaje samo tri mjeseca, te se ponovo vraća u Željezničar, gdje igra do 1970. godine kada prelazi u francuski Strazbur.
Za dvije godine provedene u Strazburu odigrao je 58 utakmica i postigao 16 golova.
U ljeto 1972. godine prelazi u Sedan, gdje ostaje naredne tri sezone.
Sezonu 1975/76 provodi u Valensijenu, da bi nakon završetka prvenstva ponovo potpisao za Strazbur, gdje ostaje sve do 1978. godine tj. do kraja svoje igračke karijere.
U periodu od 1962. do 1963. godine bio je član mlade reprezentacije Jugoslavije za koju je odigrao 3 utakmice.
1964. godine postaje član „A“ reprezentacije za koju je u 16 utakmica postigao 8 golova.
Učestvovao je na Olimpijskim igrama 1964. godine u Tokiju, kada je u pet odigranih utakmica postigao 4 gola.
Posljednju utakmicu za reprezentaciju Jugoslavije odigrao je 30. aprila 1969. godine protiv reprezentacije Španije u Barseloni, u kvalifikacijama za Svjetsko prvenstvo u Meksiku 1970. godine.
Trenerska karijera
Nakon završene igračke karijere, 1978. godine postaje trener sarajevskog Željezničara, u kojem ostaje naredih 8 godina.
Na ljetnim Olimpijskim igrama 1984. godine u Los Anđelesu, bio je asistent Ivanu Toplaku, tadašnjem selektoru Olimpijske fudbalske reprezentacije Jugoslavije koja je osvojila bronzanu medalju.
1986. godine Osim je izabran za selektora reprezentacije Jugoslavije sa kojom je učestvovao na Svjetskom prvenstvu u Italiji 1990. godine.
Ivica Osim je bio prvi selektor Jugoslavije iz Bosne i Hercegovine.
Od 1991. do 1992. godine paralelno sa reprezentacijom vodi i beogradski Partizan sa kojim 1992. godine osvaja Kup Jugoslavije.
1992. godine preuzima Panatenaikos, gdje ostaje sve do 1994. godine, te osvaja Kup Grčke i Super Kup Grčke.
U periodu od 1994. do 2002. godine trenirao je Šturm iz Graca sa kojim je dva puta bio prvak Austrije, jednom pobjednik Kupa, te dva puta pobjednik Super Kupa Austrije.
Od 2003. do 2006. godine trenirao je japanski Džef Junajted, sa kojim 2005. godine osvaja Kup Japana.
Nakon toga bio je i selektor reprezentacije Japana.
Član je Odbora za posredovanje i savjetovnanje NS/FS BiH od 2012. godine, a 22. decembra 2016. godine proglašen je za počasnog predsjednika NS/FS BiH.