Grund dafür sind die unterschiedlichen Wärmeleitfähigkeiten der Substanzen. Das Holz ist zwar auch kälter als die Haut, kann aber nicht so viel Wärme pro Zeit von der Haut ableiten.
Der gleiche Effekt tritt auf, wenn man beim Autofahren die Hand aus dem Fenster hält: Weil sie mit viel Luft kollidiert, kann auch viel Wärme abtransportiert werden, und es fühlt sich auch bei wärmerem Wetter kälter an.