一就在杨素、来护儿率领水军，大破太湖别栅，全歼东路李棱叛军的同时，奉旨抚绥江南的杨广也从并州南下，抵达了广陵。
杨广深知，父皇杨坚此次改任自己为扬州总管的用意与上回不同，意在用怀柔的方法安绥江南士族、百姓，使江南早日融入隋朝，实现四分天下归为一统的宏愿大志。
因此，他在从并州启程南下前，专门上书杨坚，请求携王妃萧厄一道镇抚广陵，同时致书其幕府两位智囊——张衡、裴蕴护送萧厄赶赴广陵与自己会合。
由于与上回统领数十万大军渡江伐陈不同，杨广在抵达广陵后，没有住进新城的老帅府——张园，而是将自己的驻哔之地改在了蜀冈上的扬州总管府，以期能和城中百姓住得更近些，方便体察民情民意。
杨广率领晋王骠骑营一行人马抵达广陵，住进扬州总管府的第三天一早，张衡、裴蕴二人护送着王妃萧厄也赶到了广陵。
不等杨广亲自将萧厄接进总管府，夫妻二人说上几句体已话，张衡便不解风情地请杨广到总管府正厅，称有要事向杨广禀明。
待杨广、张衡二人走进总管府正厅，迎面只见裴蕴面带愠色地站在厅内，不由得转身问张衡道：“建平，冲之此怒何来呀？”
张衡盯了裴蕴一眼，先请杨广上座，尔后方拱手朗声禀道：“裴蕴身为晋王幕府长僚，未经王爷允准，便擅自做主，将心意、司马珞并与二人同处之越国公家仆冯小惜俱招至广陵，请王爷治他不敬之罪。且建平位居晋王府长史，身为幕府僚佐之长吏，不能尽职尽责，及时制止裴蕴，也请王爷一并降罪处罚。”
杨广不意张衡急急忙忙地将自己拉到这里，原是为了告裴蕴的状，请自己降罪处治他二人，遂转向裴蕴问道：“冲之，你既明知本王出镇并州前交待你和建平二人留京监视心意，为何不经本王允准，擅将她和司马珞带来广陵啊？”
裴蕴曾在杨广统军伐陈一役中立下过大功，劝降了南陈大将任忠，打开建康城门，迎隋军入城，灭陈之后，经杨广保举，被册封为上开府勋阶，入晋王幕府任都记室。
他平素就与张衡这位晋王府长史不甚相谐，此次听闻朝廷指派杨广出镇扬州，抚绥江南的消息后，更是自恃灭陈有功，且对江南朝野情形十分谙熟，一心想助杨广早日抚绥江南，立功受赏，名位列于张衡之前，才敢擅自做主，暗命手下人将心意、司马珞并冯小惜三人带来广陵的，此时听杨广向他问起此事，遂瞪了张衡一眼，迈步向前，拱手答道：“因下官接到王爷书命，从长安走得匆忙，未及将此事提前向王爷禀明，是下官做事卤莽了些。然下官所以如此行事，完全出于欲使心意师太、司马珞二人相助王爷抚绥江南的一片忠心，并无一丝私心杂念，尚请王爷明察。”
“心意师太和司马珞二人如何能相助本王抚绥江南呢，你不妨详细说来听听。”杨广瞥了一眼张衡，问裴蕴道。