In 1834 werd in Eibergen de fabriek gebouwd en enkele jaren later geopend. Door de jaren heen werd door verschillende eigenaren een katoenweverij onderhouden. Zo rond 1900 werd Fabriek Prakke opgericht. De familie Prakke dreef meerdere fabrieken, waarvan alleen dit pand nog over is.
Rond 1970 vestigde zich de Gemavo, een machinefabriek, in dit pand. Veel inwoners van Eibergen zijn hier jaren werkzaam geweest. Echter ging dit bedrijf in 2001 failliet. In 2006 is het pand opgekocht door stichting Habion met als plan er zorgwoningen te realiseren. Dit is niet gelukt waardoor het pand nog jaren heeft leeggestaan.

Na dat het pand ruim 14 jaar heeft leeggestaan hebben wij het pand gekocht om er een B&B Hotel te vestigen. De gemeente gaf groen licht. De naam “Kastanjefabriek” vindt zijn oorsprong in het feit dat er vroeger grote kastanjebomen voor hebben gestaan. Het verhaal gaat, dat met de komst van de auto in de vorige eeuw de vallende kastanjes schade veroorzaakten aan het blik. De kastanjebomen zijn toen vervangen door de huidige beukenbomen. In de volksmond is de fabriek “De Kastanjefabriek” blijven heten.