不三不四

為何借三、四來說「不三不四」？道理何在？