於法開始與支公爭名，後精漸歸支，意甚不忿，遂遁跡剡下。遣弟子出都，語使過會稽。於時支公正講小品。開戒弟子：“道林講，比汝至，當在某品中。”因示語攻難數十番，雲：“舊此中不可復通。”弟子如言詣支公。正值講，因謹述開意。往反多時，林公遂屈。厲聲曰：“君何足復受人寄載！”

　　謝無奕性粗強。以事不相得，自往數王藍田，肆言極罵。王正色面壁不敢動，半日。謝去良久，轉頭問左右小吏曰：“去未？”答雲：“已去。”然後復坐。時人嘆其性急而能有所容。

　　顧長康畫謝幼輿在巖石妙。人問其所以？顧曰：“謝雲：‘壹丘壹壑，自謂過之。’此子宜置丘壑中。”