Pour savoir si une matrice est inversible, elle doit être carrée, déjà. Ensuite il faut que son déterminant soit non nul. C'est déjà une première méthode.
2e méthode : Si A est associée à u, A^(-1) est associée à u^(-1). Pour que u^(-1) existe il faut que u soit bijective, cad injective (Ker u = {0}) et surjective (Im u = F). si u(-1) existe et que la matrice B associée à u^(-1) est carrée alors A inversible et B inverse de A.
Tu peux aussi appliquer le théorème du rang aux matrices (surtout lorsqu'il s'agit d'endomorphisme ce qui est souvent le cas lorsqu'on parle de matrices carrées). rg A+ dim Ker A = nb de colonnes. Si dim Ker A = 0 alors u injective et avc le théorème du rang tu montres que u est aussi surjective donc bijective (pas besoin de le montrer, c'est trivial dans le cas des endomorphismes, puisque nb de colonnes = dim F = dim E car E = F lorsqu'on parle d'endomorphisme).
Sinon tu t'attaques au rg A. De la même manière, s'il est égal au nombre de colonnes, alors dim Ker A = 0 et A inversible.
Sinon si t'as déjà un prétendant B au "titre" d'inverse de A, tu peux essayer de calculer AB ou BA et montrer que c'est égal à I. Je ne te cache pas que les meilleures méthodes sont celles du rang qui doit être égal au nb de colonnes (ou de lignes, c'est la même chose au final) et le calcul du det. Surtout qu'il est facilement simplifiable avc les décompositions LU de Gauss (c'est le fait de mettre des 0 un peu partout pour simplifier le calcul du det)
Concernant la valeur propre, faut calculer le poly caractéristique de A, càd det (A-sI). Tu auras un polynôme fct de s. Factorise le et les racines de ce polynômes seront les valeurs propres (simple, double, triple... tout dépend de leur multiplicité). Appelons Lambda(i) les valeurs propres trouvées. Pour chaque Lambda(i), tu détermines Y tq (A-Lambda(i)I)Y=0 avec Y non nul. Tu trouveras que Y pourra être écrit sous la forme d'un vect et c'est une combinaison linéaire des vecteurs de ce vect que tu considéreras comme vecteur propre associés à Lambda(i) (Il y a donc une infinité de vecteurs propres pour chaque valeur propre).
A noter qu'il y a des propriétés amusantes avec la trace, les matrices diagonales, triangulaires supérieures et inférieures qui te permettent d'aller bcp plus vite (par ex, dans une matrice diagonale, les valeurs propres sont les éléments de la diagonale et leur nombre d'occurrence correspond à leur multiplicité, dans le cas des matrices triang supérieures ou inférieures (la matrice diagonale étant à la fois triang sup et triang inf), le det est le produit des éléments de la diagonale (qu'ils soient nuls ou non nuls, mais s'il y en a un qui est nul alors la matrice n'est pas inversible car det = 0) et le rang est le nombre de pivots de Gauss (càd le nbr d'éléments de la diagonale non nuls)). Je ne connais pas encore ttes les propriétés du cours donc je t'invite à t'y référer.
Enfin, concernant la matrice de passage P de E vers E' avec E et E' deux bases de même dimension, tu écris juste les vecteurs de E' (en colonne) dans la base E (les vecteurs de E en ligne). Tu fais la même chose avec P^(-1), càd la matrice de passage de E' dans E (il faut résoudre 2 systèmes pour avoir ces deux matrices, si tu as fait PS21 tu px associer ça au fait de passer de la base canonique à la base cylindrique par ex pour P, et le chemin inverse pour P^(-1)). Maintenant que tu as P et P^(-1), prenons A, une matrice associée à u et écrite dans la base E. Ton but c'est d'obtenir A', la matrice associée à u mais dans la base E'. Tu as donc l'égalité A'=P^(-1)AP. Voilà à quoi servent les matrices de passage.
Pour cette histoire de solutions uniques, infinies etc etc, je t'avoue que je n'ai pas très bien compris et j'ai peur de dire des bêtises. Il y a des propriétés dans le cours qui pourront peut-être apporter une réponse à ta question. Je vais me contenter de les apprendre bêtement pour ma part. Mais il me semble que pour qu'il y ait une solution, il faut que A soit inversible (det A=0) (car inversion rime avec bijection). De plus, Ax=b et A^(-1) existe ssi x=A^(-1)b ce qui constitue une solution unique de x pour un b donné. Ou sinon tu px montrer l'injection (Ker A = 0) (s'il demande l'unicité de la solution si elle existe) ou la surjection (rg A = nb de colonnes) (s'ils demandent l'existence de la solution pour tout b) avec les méthodes utilisées lors des corrections. Je n'ai pas fait cet exo donc à prendre avec des pincettes le dernier paragraphe, mais j'espère tout de même t'avoir éclairé un peu.