其实，根据历史文献，宋末元初王芝于至元辛卯二月廿四日对蔡君谟《洮河石砚铭》的题跋里已有“宋四家”的提法。王芝说：“右为蔡君谟所书《洮河石砚铭》，笔力疏纵，自为一体，当时位置为四家。窃尝评之，东坡浑灏流转、神色最壮，涪翁瘦硬通神，襄阳纵横变化，然皆须以放笔为佳。若君谟作，以视拘牵绳尺者，虽亦自纵，而以视三家，则中正不倚矣。字学亦有风气，仆谓君谟之书犹欧公之诗也。绣江出示此卷，遂附识之，以质之知此中三味者。”
从中可知，宋四家当指苏轼、黄庭坚、米芾和蔡襄四人无疑。这是目前见到的最早关于宋四家的历史资料。当然宋四家也有可能在宋代，甚至北宋就已提出，但目前还没有历史文献的证明。
假定宋四家是北宋提出的，那“苏黄米蔡” 之蔡，也应该是蔡襄，而不是蔡京。蔡襄书法,师承晋唐，其行草取法二王,楷书则出于颜真卿。他承唐启宋，是宋初书坛的领袖。当时对蔡襄书艺的评价已经很高。
欧阳修与蔡襄为同一代人。欧阳修说：“君谟独步当世，然谦让不肯主盟。”欧阳修曾作学书二首，其中一诗曰：“苏子归黄泉，笔法遂中绝。赖有蔡君谟，名声驰晚节。醉翁不量力，每欲追其辙。人生浪自苦，以取儿女悦。岂止学书然，自悔从今决。”诗中提到两位书法家，一个是苏舜钦（字子美），另一个就是蔡襄。苏舜钦生于1008，卒于1048年，按此推算欧阳修此诗作于晚年。
欧阳修《归田录》还记载了蔡君谟为其书《集古录目序》这件事：蔡君谟既为余书《集古录目序》，刻石，其字尤精劲，为世所珍。余以鼠须栗尾笔，大小龙茶，惠山泉等物为润笔。君谟大笑，以为太清而不俗。后月余，有人遗余以清泉香饼一箧者，君谟闻之叹曰：“香饼来迟，使我润笔独无此一种物”。兹又可笑也。
