杨广并没有完全说出自己的担忧，如果仅仅只是一个李渊，他还没有这样如临大敌，他真正担心的是关陇贵族，李渊造反也就意味着关陇贵族开始公开与自己为敌了。
渤海会虽然令杨广憎恨，但杨广还真没有把它放在心上，而关陇贵族是大隋立国的根基，是大隋第一大势力，如果关陇贵族造反，大隋社稷将岌岌可危。
这才是让杨广感到恐惧的真正原因。