不想给大伯借钱，怎么拒绝他比较好？

我大伯是我爸的亲哥哥，已经四十多岁了，家里有两个孩子，但一直游手好闲，这几十年都是靠我爸给他钱，我们家是做生意开厂的，还算有钱吧，我爸也是比较重感情，觉得自己有能力就多帮助一下兄弟姐妹，所以平时会接济大伯他们。

因为大伯一直没有正经工作，我爸就给他在厂里安排了个工作，每天喝喝茶就有八千多工资，结果大伯还是问我爸借钱，从来不写借条的那种，昨天我和我妈算了一下，这些年我们家接济大伯一家人足足花了二百多万，这些钱不会影响我们的生活，可是大伯还在不停的借钱。

他们家借了钱也不会感激，甚至觉得我们家亏欠了他家，昨天我妈说大伯要借一百万买房子，我们都知道这钱给了要不回来，我该怎么劝爸爸不要给大伯借钱？