كان له عليه السلام ستة إخوة و ثلاثة أخوات و هم إسماعيل و عبد اللّٰه الأفطح و أم فروة اسمها عالية أمهم فاطمة بنت الحسين بن علي بن الحسين عليهم السلام و نقل عن ابن إدريس رحمه اللّٰه أنه قال أم إسماعيل فاطمة بنت الحسين الأثرم بن الحسن بن أبي طالب عليه السلام و إسحاق لأم ولد و العباس و علی و محمد و أسماء و فاطمة لأمهات أولاد شتى.

و كان إسماعيل أكبر أولاد الصادق عليه السلام و هو جد الخلفاء الفاطميين في المغرب و مصر و مصر الجديد من بنائهم.

و في بغداد قبران مذمومان أحدهما علي بن إسماعيل بن الصادق عليه السلام و يعرف عند البغداديين بالسيد سلطان علي و الآخر أخوه محمد بن إسماعيل جد الفاطميين و يعرف عندهم بالفضل و المحلة التي فيها محلة الفضل.

و كان الإمام الصادق عليه السلام شديد المحبة لإسماعيل و البر به و الإشفاق عليه و كان قوم من الشيعة يظنون أنه القائم بعد أبيه و الخليفة له لما ذكرنا من كبر سنه و ميل أبيه إليه و إكرامه له و لما كان عليه من الجمال و الكمال الصوري و المعنوي توفی حياة أبيه و حين ما حمل إلى البقيع للدفن كان أبوه الصادق عليه السلام يضع جنازته على الأرض و يرفع عن وجهه الكفن بحيث يراه الناس فعل ذلك في أثناء الطريق ثلاث مرات ليري الناس موته و أنه لم يغب كما كان يظن به ذلك و لما تحقق موته رجع الأكثرون عن القول بإمامته و فرض طاعته.