Весьма интересная задача. Идеи есть, но с ответом никак не сходится
где находится центр тяжести куба из которого удален кубик с ребром а/2? (х=а*sqrt(3)/28)

Разобьем кубик со стороной а на 8 кубиков со сторонами а\2 и поставим начало координат в центр основного кубика, тогда положение центра масс ещё целого кубика можно записать как:
r=mr1+mr2+...+mr8/8m , где r, r1, ...,r8 - радиусы векторы к центр массам соответственно основного кубика и маленьких, а m - масса маленького кубика.
Причем так как длина главной диагонали основного кубика равна a*sqrt(3), то |r1|=|r2|=....=|r8|=a*sqrt(3)/4. Причем в этом случае r=0, так как соответсвующие вектора r1 и r8, r2 и r7 и т.д в сумме дают нулевой вектор.
Теперь возьмем и уберем один из маленьких кубиков, например 8й, тогда формула примет
 вид:
R=m*r1/7m=r1/7. |R| =a*sqrt(3)/28, остальные вектора также в сумме дадут нулевой вектор. То есть центр масс сдвинется по основной диагонали от вырезанного кубика на расстояние a*sqrt(3)/28