Er wollte Fotograf werden, doch auf Geheiß seines Vaters begann er 1956 eine Optikerlehre. 1965 machte er den Abschluss als staatlich geprüfter Augenoptiker und Augenoptikermeister. Anschließend arbeitete er für die Optikkonzerne Essilor und Bausch & Lomb. 1972 eröffnete er sein erstes Geschäft in Cuxhaven. Im Jahre 1981 revolutionierte Fielmann den Brillenmarkt, indem er 90 modische Modelle der Kassenbrille ohne Zuzahlung (Werbeslogan: Zum Nulltarif) anbot.
Durch diese Liberalisierung des Marktes sowie durch niedrige Preise und aggressives Marketing wuchs sein Unternehmen schnell. 1982 wurde in Kiel ein Fielmann-Fachgeschäft mit mehr als 7000 Brillen und einer Hologramm-Dauerausstellung eröffnet. 1994 wurde die Fielmann KG in die Aktiengesellschaft Fielmann AG umgewandelt und an die Börse gebracht.
Fielmann hat das Geschäft mit den Brillen in Deutschland verändert. Inzwischen findet sich in nahezu jeder Fußgängerzone eine Filiale seiner Optikerkette. Insgesamt 977 Niederlassungen im In- und Ausland, mehr als 22.000 Beschäftigte und 27 Millionen Kundinnen und Kunden zählte die Fielmann AG Ende März 2023. Der Jahresumsatz lag zuletzt (2022) bei fast 1,8 Milliarden Euro.
Als Naturschützer engagierte er sich zudem für die Schutzgemeinschaft Deutscher Wald (SDW), insbesondere für deren Baumpflanz-Aktionen zum "Tag des Baumes". Seit 2001 unterstützte er mit einem zweistelligen Millionenbetrag Forscher der Christian-Albrechts-Universität zu Kiel, die auf seinem Hof Ritzerau die Konsequenzen ökologischer Landwirtschaft untersuchen.
Fielmann hatte sich 2019 aus dem Unternehmen zurückgezogen und es in die Hände seines Sohnes Marc gegeben. Neben seinen unternehmerischen Erfolgen engagierte sich Fielmann als Ökolandwirt. Auch das Schloss Plön hat Fielmann gekauft und renoviert; dort werden Augenoptiker für die gesamte Branche ausgebildet. Fielmann spendete viel, für Bildung, Wissenschaft und Kultur, Ökologie und Naturschutz. Er hat seine Mitarbeiterinnen und Mitarbeiter über Aktien am Unternehmen beteiligt und pflanzte für jeden von ihnen jedes Jahr einen Baum.
Der Aufsichtsratsvorsitzende der Fielmann Group, Mark Binz, würdigte den Verstorbenen als "Jahrhundertunternehmer und Visionär. Mit strategischem Weitblick, einem klaren Fokus auf die Wünsche der Kunden und einem vorbildlichen Engagement für das Gemeinwohl hat er die deutsche Wirtschaft weit über die Grenzen der Augenoptik und Hörakustik hinaus geprägt."
