A sokgyermekes bonyhádi asztalosmester fia az elemi iskolai évek után Pécsett szerzett kántortanítói oklevelet. Énektehetségére és szépen csengő tenorjára hamar felfigyeltek. A pécsi székesegyház orgonistának alkalmazta, az egyházi énekkarban szólót énekelt, 1890-től karnagy.
Hoffer Károlynak jelentős érdemei vannak Pécs város hangversenyéletének fellendítésében. Évtizedeken át tanított a városi ének- és zeneiskolában; 1889-1908 között a zeneiskola igazgatója. A Pécsi Dalárdának három évtizeden át tagja, szólóénekese, 1883-tól karvezetője. A dalárda külföldön is népszerűsítette a magyar dalkultúrát: fellépett Ausztriában, Svájcban, Németországban és az 1889. évi párizsi világkiállításon.
Hoffer Károly karmesteri tevékenységének új színfoltja volt Richard Wagner alkotásainak bemutatása egy pécsi hangversenysorozaton. A városi színházban előadott klasszikus operettek színvonalát pedig azzal emelte, hogy a kórusbetéteket az ő dalárdája adta elő igényesen és nagy elismerést aratva. Zeneszerzői munkásságának legnagyobb sikere a Király-himnusz c. kórusműve, amelyet I. Ferenc József előtt mutathatott be. Az Egyházi énekek gyűjteménye című szakmunkája Pécsett jelent meg 1890-ben.
Pécs nagyra becsült művésze gyakran hazalátogatott Bonyhádra. A testvére itt volt kántortanító, jó barátja, Müller József pedig a helyi tűzoltózenekar vezetője. Többször fellépett a bonyhádi hangversenyeken, tenorszólóival elbűvölte szülővárosa közönségét.
Bonyhád nagyközség képviselő testülete 1937-ben Hoffer Károlyról utcát nevezett el. A Pécsi Dalárda 1940-ben emléktáblát helyezett el a családi ház falán: “A tüneményes hangú mesterdalnok és díszkarnagy emlékezetére a királydíjas Pécsi Dalárda”.