2. De feiten.
Blijkens de gedingstukken en op grond van het verhandelde ter zitting staat als onbetwist, dan wel onvoldoende betwist, tussen partijen vast:
2.1 Belanghebbende en de heer A exploiteerden gezamenlijk in de vorm van een maatschap een accountantskantoor onder de naam Accountantskantoor B (nader: het accountantskantoor).
Onderhandelingen met Accountantskantoor C (nader: C) hebben er in 1996 toe geleid dat het klantenpakket Friesland van het accountantskantoor per 1 oktober 1996 aan C is overgedragen en dat A bij C in loondienst is getreden. In de overeenkomst tot overdracht van de accountantspraktijk treden als verkopers op de hierna te noemen D B.V. en A. Door C werd als koopsom betaald f.350.000,-- met daarna nog een tweetal nabetalingen, zodat de totale koopsom uitkwam op f.520.584,--.
2.2 Op 26 september 1996 heeft belanghebbende D B.V. (nader: D) opgericht. Er is geen (eventueel geregistreerde) voorovereenkomst, doch volgens de statuten wordt het resultaat, bestaande uit het winstaandeel van de maatschap, vanaf 1 juli 1996 aan D toegerekend. Belanghebbende heeft, 4 dagen voor de overdracht van het klantenpakket Friesland aan C, zijn aandeel in het accountantskantoor ingebracht in D. Daarnaast heeft belanghebbende inventaris, een auto, vorderingen en liquide middelen ingebracht.
2.3 Belanghebbende bleef vervolgens werkzaam als ondernemer. Op de balans per 31 december 1966 van zijn eenmanszaak staan een pand (voorheen buitenvennootschappelijk vermogen van belanghebbende), inventaris, een auto, debiteuren, onderhanden werk, diversen en geldmiddelen geactiveerd.
2.4 A heeft per 1 oktober 1996 zijn aandeel in het klantenpakket Buiten Friesland (van het accountantskantoor) overgedragen aan D, waarbij ter zake van dit klantenpakket aanvankelijk rekening is gehouden met een goodwill van f.5.000,-- welk bedrag naderhand is verhoogd tot f.7.170,--. Vanaf die genoemde datum verhuurt D het -dan volledige- klantenpakket Buiten Friesland aan belanghebbende, dan handelende als eenmanszaak onder de naam Accountantskantoor B, tegen een vergoeding van 15% van de jaarlijkse omzet.
2.5 Op 10 oktober 1996 is tussen D en C een overeenkomst voor het verlenen van opdrachten gesloten, waarbij is bepaald dat D voor C werkzaamheden zal doen uitvoeren door belanghebbende tegen een vergoeding van 65% van het daarvoor door C in rekening gebrachte uurtarief.
2.6 Tussen belanghebbende en D is op 2 april 1997 een lijfrenteovereenkomst gesloten. Daarbij is er van uitgegaan dat belanghebbende op 1 juli 1996 zijn gehele onderneming heeft overgedragen aan D, die de onderneming voortzet, en dat belanghebbende op deze datum zijn onderneming heeft gestaakt.
2.7 Door belanghebbende is een overzicht ingezonden waaruit blijkt dat de door belanghebbende behaalde omzet binnen Friesland in de periode van 1996/1997 tot en met 2001 varieert tussen f.67.000,-- en f.222.000,-- en de omzet buiten Friesland tussen f.48.000,-- en f.83.000,--.
2.8 Door de inspecteur is op 19 november 2002 een cijfermatige uitwerking ingezonden van de diverse in de procedure ingenomen standpunten. Belanghebbende heeft daaromtrent meegedeeld dat deze cijfermatige opzet correct is.
2.9 Bij het vaststellen van de onderhavige aanslag voor het jaar 1996 heeft de inspecteur zich op het standpunt gesteld dat belanghebbende bij de overdracht van het klantenbestand binnen Friesland aan C de toen door hem gedreven onderneming gedeeltelijk heeft gestaakt, dat D niet de oorspronkelijke onderneming van belanghebbende in haar geheel heeft voortgezet en derhalve niet kan optreden als verzekeraar voor de lijfrente, en dat geen sprake kan zijn van een aan D toe te rekenen voorperiode ingaande 1 juli 1996.
De inspecteur heeft derhalve, rekening houdend met dit standpunt en de daaruit voortvloeiende correcties en met een aandeel van belanghebbende in de goodwill voor het klantenpakket buiten Friesland van f.24.809,--, het belastbare inkomen vastgesteld op f.380.673,--. Over een bedrag van f.268.101,-- is daarbij het bijzonder tarief ad 45% toegepast.
Op het tijdig ingediende bezwaar van belanghebbende heeft de inspecteur bij de bestreden uitspraak dit standpunt gehandhaafd.