为了给以后回乡生产自食其力做准备，彭德怀在吴家花园买了不少土壤学、栽培学等农业技术书，又拜附近果园的农艺师刘富先和孟瑞祥为师，学习果树栽培嫁接技术。吴家花园在几年内改了观，除有麦地、菜畦、鱼池，还种了桃、梨、核桃、苹果、葡萄、柿子等各种果树。他计划把北方能生长的果树都引进吴家花园作实验，他和１３岁就学艺、曾培育出秋香、燕红等著名密桃品种的园艺师刘富先结下友谊，常相往来。不想，这一非政治性的友谊，也使刘富先在以后的“文化大革命”中被关押了一整年。
吴家花园岁月悠长又匆促地过去了。在漫长的冬夜，彭德怀也常常看小说，读历史，特喜欢读人物传记。他不再说自己是张飞，而常说：“我就像明朝的于谦。”
于谦在明朝曾官至兵部尚书，当北方民族瓦剌兵临明都北京城下之际，他受命于危难，举兵抗击，使局势转危为安。于谦为官清廉，性格耿直，生活简朴，不阿附权贵，后为瓦剌反间计所中，被明英宗杀害。《明史》载于谦被抄家时：“家无余资，萧然仅书藉尔。”
彭德怀十分喜欢于谦那首有名的《石灰吟》：