三平寺"免看，三落半"众口皆碑，其中"山鬼"建寺，鬼斧神工之传说，亦广为流传。相传晚唐时，三平当地居住着畲族和蛮獠土为，其后者因全身毛楂楂的，被称为"毛人"或者"山鬼"。禅师初入山时，先在"山鬼"穴前（即毛氏洞）卓锡，杖插入土中，即化成一株樟树，后人称之为"锡杖树"，义中就跌坐在树下闭目参禅。师之举动，惊动了"山鬼"，便一心想把他撵走，见师无动于衷，便集众动手将其抬起来，奋力抬至前面百丈潭，居高临下抛之，然后雀跃而归，及回，见义中滴水不沾，仍在锡杖下颂经。山鬼十分惊异，合谋用计把和尚再装入竹笼里，并装入石头，然后再抛入百丈潭中，放心而归，至穴前，又见义中禅师安然无恙，方知和尚神通广大，一齐拜伏在义中禅师周围请发慈悲，宽恕罪过，并愿出力为他建寺，求大师闭目七天七夜，义中禅师应允，闭目以待。

　　义中禅师闭目五天五夜，听到"山鬼"凿石牵木，劳作之声甚苦，不忍心动，睁眼一看，精光四射，吓得"山鬼"惊恐万状，放下活计，四下逃窜，但见寺已建成，唯山门未就，天王殿只造了一半，至今仍为三落半：塔愉、祖殿、大雄宝殿、天王殿。三平寺艺术建筑之精湛，并以"山鬼"建寺，神工运筹，以神传神，妙在其中。