فكر أبناء منطقة الغرافة في أن يكون لهم نادياً يقوم على خدمة أبناء وشباب هذه المنطقة التي اشتهرت بتوافر العديد من القيادات الرياضية، وبالفعل تم العمل على إنشاء هذا النادي الذي تأسس تحت إسم نادي الإتحاد الرياضي في 6 يونيو عام 1979م، وتم إشهاره رسمياً في 23 سبتمبر من نفس العام بموجب القرار رقم (9)، وترأس أول مجلس إدارة للنادي سعادة الشيخ خليفة بن فهد بن محمد آل ثاني خلال الفترة من عام 1979 حتى 1980 ولمدة عام واحد فقط .
ووقف وراء نجاح وتطور نادي الغرافة رجالاً بذلوا الكثير في سبيل دعم النادي حتى يتمكن من مواصلة مشواره الذهبي، وهم رجالاً يدين لها نادي الغرافة لفضلهم في تقديم كل ما يحتاجه النادي من دعم خاصة أن هذه الشخصيات لعبت دوراً مهماً في مسيرة النادي ودعم الإدارة واللاعبون والمدربون، وأصبحوا أحد الأطراف الذهبية في مسيرة الغرافة للبطولات والانجازات الداخلية أو الخارجية، ومن أبرز هذه الشخصيات: سعادة الشيخ فيصل بن جاسم آل ثاني، وسعادة الشيخ حمد بن جاسم آل ثاني، و سعادة الشيخ جاسم بن ثامر آل ثاني، وسعادة الشيخ حمد بن ثامر آل ثاني، بالإضافة إلى العديد من الشخصيات التي خدمت النادي من أبناءه ومحبيه .