Skorzystałbym z tego, że \(\displaystyle{ a\cdot b=|a||b|\cos\angle(a,b)}\)
oraz \(\displaystyle{ |a\times b|=|a||b||\sin\angle(a,b)|}\)
Stąd i z jedynki trygonometrycznej dostajemy \(\displaystyle{ (a\times b)^2=|a|^2|b|^2-(a\cdot b)^2}\)
W naszym przypadku \(\displaystyle{ (a\times b)^2=10^2\cdot2^2-12^2=400-144=256}\)
Można też liczyć tak, jak zacząłeś. Gorąco polecam. Teraz, gdy już wiadomo, co ma wyjść z prawej strony, powinno być łatwo.