A Pappenheim-torony építője, gróf Pappenheim Sigfried (1868-1936) bajor katonatiszt (királyi főhadnagy) volt, aki rendelkezett iszkaszentgyörgyi földbirtokokkal is. A birtokát gyarapította a kiskéri területtel, amikor feleségül vette gróf Károlyi Erzsébetet (1872-1954), gróf Károlyi Mihály köztársasági elnök nővérét, és így a Nógrád megyei kiskéri uradalom is Pappenheim-tulajdonná vált.
A Bujákhoz közeli erdőben levő tornyot Pappenheim Sigfried felesége kérésére építtette bajor minta alapján 1921 körül. A tervezője Franz Zell müncheni építész volt, a kivitelezést Gajdóczi Lajos gyöngyösi építési vállalkozó végezte.
A torony eredetileg kettős célt szolgált, a földszinten a gróf erdésze lakott a családjával, az emeleti helyiségeket a tulajdonos használta a vadászatai alkalmával, és itt pihent meg a vendégeivel. Aztán az 1930-as évek elején megépült a Keselyréti vadászház, és az erdőterületet a család az 1930-as évek végén eladta. Az új tulajdonos nem törődött a toronnyal, így annak állapota innentől kezdve rohamosan romlott.
Az 1990-es évek végén a Budapesti Erdőgazdaság Zrt. jogelődje kezdeményezte a romos torony felújítását. Az épület első felújítási szakasza 2001-2002-ben volt, és az eredeti állapotnak megfelelően próbálták meg helyreállítani.
A kilátót 2002. március 23-án nyitották meg a látogatók előtt. Azonban az idők folyamán a faszerkezet elöregedett, így 2017-ben az erdőgazdaság újabb felújításba kezdett, és a Magyarországon egyedülálló építészeti látványosságot teljeskörűen felújította.
A tervek szerint a torony szálláshelyként és oktatótérként, valamint kiállítóhelyiségként funkcionál.
Forrás: Bányásztörténeti Közlemények 14. évf. 1-2 szám
