votre installation n'est pas si mal que ça, et au moins vous avez identifié le point faible !
Beaucoup de turbines achetées d'occasion (et parfois même des neuves) tournent avec un mauvais rendement, sans que personne n'ait effectué les vérifications que vous avez faites, et comme le souligne Gilles, le problème est ici plus le sur-dimensionnement de la turbine, et son mauvais distributeur (véritable hachoir à veine d'eau), que la vitesse spécifique.
Allez, un flash de pub

Pour cette chute et ce débit, une solution serait en effet de placer une petite turbine Crossflow, avec génératrice directement en bout d'arbre : plus de transmission, plus de bruit ni d'entretien, danger moindre, meilleur rendement à charge nominale et à charge partielle.
Par exemple :
- une turbine Crossflow Powerpal CF2-20/25, environ 146 l/s sous 12 m, 14.5 kW à l'arbre à 750 tr/min, avec sa génératrice asynchrone 15 kW 750 tr/min 400 V tri, directement en bout d'arbre, environ 13 k€ H.T.
- ou une CF2-20/23, environ 117 l/s sous 12m, 9.2 kW à l'arbre à 750 tr/min, avec sa génératrice asynchrone 11 kW 750 tr/min, environ 10 k€
Remarque : pour la puissance brute de l'eau, utiliser simplement P(W) = H(m) * Q(l/s) * 9.81
Cordialement
dB-)