Juuassa syntyneen Juhani Karjalaisen pääasiallisen työuran muodostivat johtajan ja rehtorin tehtävä ja opetustyö 35 vuoden ajan sekä toimineen Kotkan kaupungin opetusalan pääluottamusmiehenä 20 vuotta. Valtakunnallisia luottamustehtäviä hänellä olivat muun muassa Opettajien Ammattijärjestön hallituksen jäsenyys ja valtuuston puheenjohtajuus sekä työskentely monissa OAJ:n toimikunnissa. Hän hoiti myös monia paikallisia opetusalan järjestötehtäviä Kotkassa. Tämän toiminnan tuloksena hänelle myönnettiin opetusneuvoksen arvonimi vuonna 2000.