越公房子孙杨惜,字遵彦,小名秦王。儿童时神情木讷,口齿不清,但风度深沉,举止庄重。六岁时开始读史,十一岁就熟谙《诗经》《易经》《左氏春秋》。杨惜幼年丧母,曾到舅父源子恭家与舅父对饮,源子恭问杨倍近来读了些什么书,杨惜答:"诵诗".源子恭说:"读没读《渭阳》那首呢?"《渭阳》为《诗经》中的一首,诗日:我送舅氏,日到渭阳。何以赠之,路车乘黄。我送舅氏,悠悠我思,何以赠之,琼瑰玉佩。即描写晋公子重耳与舅舅分别时的情景。听了舅父的问话,想到诗中的意境,感叹自己失母的裴哀,杨情号泣感噎,源子恭也不免跟着伤怀欹欷,酒也喝不成了,只好撤去杯盏。源子恭后来对杨惜的父亲杨津说:"都说秦王反应迟钝,从今后当刮目相看。"
杨惜一门四世同居,家境极其隆盛,弟兄就学者三十余人。学堂庭院中有一檫树,果实落地,众弟兄都去争抢,唯倍颓然独坐。适逢其叔父杨伟来学馆,看见这种情况,感慨地对宾客说:"此儿恬淡充实,有我家风。"杨氏室内有竹林,杨伟就在竹林边修一屋,让杨惜住在其中读书,还经常以铜盘盛着美馔佳肴以供杨惜食用,他的意图是用对杨惜的特殊待遇来激励鞭策其他子侄发奋读书。他常对子侄们讲:"汝辈但能如遵彦谨慎,自会得竹林别室,铜盘重肉之食。"杨惜的堂兄杨昱也对杨惜相当器重,曾对人说:"此儿乳牙未落,已是我家龙文,更十岁后,当求之千里外。"杨昱曾与十余人赋诗,情一览之后,便能背诵,一句也没有遗失。及长大后,果然如父兄所期盼的那样,善谈吐,音嘹亮,风神俊悟,容止可观,时人见之,莫不敬异,有识者多以为前程远大,必为国家栋梁之才。