宇文邕想了想，也觉得现在伐齐有些操之过急，而且作为自己亲政之后的第一战，只许赢不能输，因此听从了胡秉纯和杨坚的建议，暂缓伐齐之事，而积极建设国内。
宇文直犯了大罪，宇文邕却以罚俸了之，令其在惊险之余开始得意起来，认为自己有太后保护，不会拿他如何，又因没能得到大冢宰之位，心生怨恨，于是在长安城中到处圈地建宅，搞得长安城鸡犬不宁，民怨沸腾。
宇文直又看上了胡秉纯住的轻衣巷，里面加之胡秉纯一共住有五六家人，宇文直觉得此地僻静清幽，想建为自己的别院，于是派人去找这些户主，以极低的价格让他们迁出轻衣巷，几家户主都不愿迁走，与来人起了冲突，元芷在院中听得附近的吵闹之声，出门瞧去，发现一群人正围着一户人家推攘叫骂威胁。
“我告诉你们，我家王爷看上的地方你们迁也得迁，不迁也得迁，现在乖乖迁出去，还能给你们个一文半子，要是敢顽抗，别说拿不到钱，所有人统统都打进大牢”。
宅中一人拽着一个打手悲哭起来，“这是什么世道啊，还有没有王法了，你们这样做就不怕遭天谴吗？”
“王法？我告诉你，在大周，我们家王爷就是王法，要是敢跟他作对，只有死路一条，识相的赶紧给我搬走”。
元芷实在见不惯这帮人的嚣张跋扈，走过去呵斥道，“好大的口气，这大周朝是当今皇上的大周朝，你说你们家王爷就是王法，将皇上摆在哪里？当今皇上恩泽四海，爱民如子，天子脚下，你们竟然强抢民宅，就不怕被皇上知道吗？”
民宅的户主老头跪在元芷面前哀求道，“元芷姑娘，你一定要帮帮我们啊，这帮人要占了轻衣巷，我们在这里住了几十年，实在是不愿意离开啊，而且离开之后这一家老小就得露宿街头了”。
元芷将老头扶起，“老人家你快快起来”。
卫王府的家丁立刻往元芷围了上去，“这年头居然还有人敢打抱不平，而且还是个姑娘，这位姑娘，我看你是平时不出门不知道我们是谁吧，我家主人看上了轻衣巷，不但他们要搬走，所有住在这里的人全部都得给我搬走”。
“这街市上连强买强卖都是触犯律法的，你们还敢强占，你家主人难道不知道头顶青天还有一柄利剑吗？”
“少废话，没时间跟你在这儿磨工夫，他们既然不走，给我动手”。
元芷冲到门前将他们拦住，“我看你们今天谁敢进去？”
“我看你是找死”，那带头的人一巴掌便往元芷扇去，可手才刚刚举起，就被人从后面给抓住，然后狠狠一掰，只听几声骨头清脆的响声，那人的手掌便被掰断，顿时恼羞成怒，用另外一只手提刀砍去。
原来从后掰手之人是王显，胡秉纯也跟着前来，王显轻轻将其避开，一脚便将他踢到了草垛之上，卫王府的家丁顿时全部围了上来，胡秉纯和王显相视一笑，视这些走狗爪牙如草芥，几番轻松下来，便将他们打得找不着北。
带头那人虽然被打得青紫相间，却仍旧口出狂言，“我们可是卫王府的人，我看你们是活腻了”。
王显大步走到他前面，看着他嚣张跋扈的样子，一脚便踩在他的手掌上，痛得那人直叫。