Jan Johansson flyttade till Göteborg för att läsa till civilingenjör 1952, men musiken tog överhanden. Bland annat var han kapellmästare för Chalmersspexet och spelade i flera av stadens orkestrar. Senare kom han att lockas till Köpenhamn av Stan Getz och blev som första icke-amerikan engagerad i den legendariska turnékonceptet Jazz at the Philharmonic.
I början av 1960-talet fick han en tanke om att ta sig an svensk folkmusik på ett nytt sätt. Basisten Georg Riedel tyckte att idén om att bara använda piano och bas var märklig, men så snart de började spela tillsammans i studion lät det fullkomligt självklart. Jazz på svenska gavs från början ut på tre EP-skivor, men samlades sedan på ett album som sålt i nära en halv miljon exemplar.
Jan Johansson var mycket vidsynt i sitt skapande. När Astrid Lindgren bad honom göra musiken till filmerna om Saltkråkan, valde han att skapa avantgardistiska stycken eftersom han ansåg att barn hade en friare attityd till musik. Ledmotivet till Pippi Långstrump skrev han med inspiration från en inspelning han hört med Ghanas poliskårs marschorkester.
Inför en kyrkokonsert i Jönköping i november 1968 dök Jan Johansson inte upp. Egil Johansen, Georg Riedel och Arne Domnérus väntade på sin vän, men nåddes snart av beskedet att Johansson i det vinterväglag som rådde omkommit i en bilolycka utanför Sollentuna. Jan Johansson blev endast
37 år gammal.