Je tends à utiliser les critères d'alerte de "plausibilité biologique" de l'OMS avec les données anthropométriques. Ceux-ci sont très similaires aux anciens critères d'alerte qui étaient du CDC/NCHS.
On m'a demandé (pour deux projets distincts) d'appliquer à la fois les critères d'alerte de l'OMS et les critères d'alerte SMART pour quelques très grands ensembles de données et d'examiner les conséquences de l'utilisation de chacun d'eux. Je suis inquiet de pouvoir le faire.
J'ai quelques questions sur les critères d'alerte utilisés dans les enquêtes SMART.
Le manuel SMART a:
"Dans le rapport de vraisemblance, le programme donnera la liste et interrogera toute valeur qui est de ± trois écarts-types de la moyenne de l'enquête. Après qu'un ou deux groupes aient été saisis, ou s'il y a eu une enquête précédente, il est utile d'entrer, dans la feuille de vue d'ensemble des variables, des limites comme ± trois écarts-types (ou 3 z-scores) de la moyenne lors de la saisie de données. Cela permet d'éliminer les erreurs potentielles le plus tôt possible lors de la saisie des données ". (p 83)
Ceci suggère qu'un signal pour le P/T (par exemple) serait déclenché si:
P/T = moyenne (P/T) - 3 * sd (P/T)
ou:
P/T = moyenne (P/T) + 3 * sd (P/T)
Ceci indique que l'échantillon ET est le critère d'alerte principal. Cette approche a beaucoup de sens si l'on présume qu'il y a une normalité de la distribution de l'indicateur (qui est une question distincte).
Plus tard, le manuel SMART a:
"La plupart des enfants avec des données mal mesurées donnent des valeurs qui sont au sein de la gamme plausible. L'inclusion de ces erreurs peut présumer de l'examen de l'écart-type, et d'autres vérifications statistiques sur les données. L'écart-type devrait être compris entre 0,8 et 1,2 z-score unités pour la P/T dans toutes les enquêtes bien menées (dans 80% des enquêtes l'écart type est entre 0,9 et 1,1 unités z-scores).
Les écarts-types augmentent quand la proportion des résultats erronés augmente dans la base de données;. cela a un effet très important sur la prévalence calculée de l'émaciation. Pour cette raison, si une valeur est plus susceptible d'être une erreur qu'une véritable mesure, elle devrait être retirée de l'analyse. Nous le faisons en prenant la moyenne des données du P/T comme point fixe pour décrire l'état de la population que nous sondons. Statistiquement environ 2,5 enfants sur 900 seront situés en dehors des limites de ± 3 unités z-score de la moyenne. Moins de 0,5 sur 1000 se situeront en dehors ± 3,5 unités z-scores de la moyenne. Cela constitue la base pour décider si une valeur est plus susceptible d'être une erreur qu'une véritable mesure. Le logiciel affichera la liste des enfants avec ces valeurs extrêmes dans la liste de contrôle de plausibilité ". (P 86)
Je trouve que cela crée la confusion. Les estimations du nombre-de-cas aux différentes valeurs citées dans ce paragraphe ne sont vraies que si l'échantillon ET (ou 'z') = 1. Pour ET (ou 'z') = 1 et Z-score moyen = -1 nous nous attendons à ce qu'environ 2,43 cas aient un z-score en dessous de -4 (qui est la moyenne - 3). Si l'échantillon est de 1,2 ET alors nous nous attendons à 11.18 pour un z-score en dessous de -4 (qui est la moyenne - 3). Je ne dirais pas que 11.18 est "environ 2,5" (il est d'environ 4,5 fois plus grand). Si nous utilisons l'ET de l'échantillon alors nous nous attendons à 2,43 cas.
Il me semble que le manuel SMART est confus (il me déroute!) à propos de l'utilisation de «l'écart-type" et "z". En suivant les nombres et en remontant dans le travail fait... le raisonnement avoir "environ 2,5 enfants sur 900 »nécessite que la méthode utilise l'ET de l'échantillon.
Plus tard dans le manuel SMART, nous avons:
"Comme il est expliqué dans la section sur les valeurs extrêmes, cela vous indique si il y a une erreur aléatoire importante dans les mesures. Si l'écart-type est élevé (plus de 1,2), il est probable qu'il y aura beaucoup de valeurs extrêmes et les valeurs de plus de ± 3 z-scores de la moyenne ». (p 87)
Cela ne peut être le cas que si l'ET de l'échantillon n'est pas utilisé et les critères d'alerte utilisent ET = 1 de sorte qu'une alerte pour (par exemple) P/T serait déclenchée si:
P/T = moyenne (P/T) - 3
ou:
P/T = moyenne (P/T) + 3
Je ne suis pas sûr que cette approche de repérage ait beaucoup de sens.
Le manuel SMART est contradictoire à ce sujet et je me retrouve confus.
Mes questions sont les suivantes:
(1) Pouvons nous utiliser:
P/T = moyenne (P/T) +/- 3 * et (P/T) ou: P/T = moyenne (P/T) + 3(2) Si nous sommes amenés à utiliser:
P/T = moyenne (P/T) + 3
Quelle est la justification pour cela quand nous pouvons facilement obtenir l'écart type de l'échantillon (SD)? Pourquoi présumer une variance connue?
La première question devrait être assez facile à répondre. La deuxième pourrait être plus difficile.
Toute assistance sera reçue avec gratitude.
Salut Marc,
Ma compréhension est que le critère SMART est
P/T= moyenne (P/T) +/- 3
et non
P/T z scores = moyenne (P/T) +/- 3 * ET( P/T z)
La raison est, comme vous l'avez écrit à partir du manuel, qu'il est prévu que le ET doit être compris entre 0,8 et 1,2. donc la valeur médiane.
Il y a des études qui examinent cette question. Voir ces deux liens
http://www.ncbi.nlm.nih.gov/pubmed/17639241
https://peerj.com/articles/380/
J'espère que ceci est utile
Carlos
Répondu:
9 années il y aMerci.
Vous avez peut être raison ... Je trouve cela difficile à obtenir à partir du manuel SMART.
Je vois peu de logique en utilisant la variance "assumée" (c.-à-ET = 1) lorsque nous avons un grand (ie n >> 60) échantillon à partir duquel on peut faire une bonne estimation de la variance. S'attendre à ce que l'ET soit dans la gamme de 0,8 à 1,2 est une chose très différente que d'assumer que l'ET = 1. Qu'est-ce qui m'échappe?
Est-ce ceci juste une règle? Je suppose qu'il n'a pas à avoir un sens aussi longtemps que tous nous faisons cette même chose particulière.
Répondu:
9 années il y aSalut Marc,
Je sais qu'il y a un document écrit par Mike Golden et d'autres où ils ont exploré cette question plus en détail, et je pense que c'était le document qui a mené à la recommandation de ET = 1. Je n'ai pas ce document, mais d'autres sur ce forum pourraient l'avoir et pourraient le partager avec vous.
Je suis d'accord avec vous qu'il est préférable d'utiliser la variance observée plutôt qu'une variance idéalisée. Mais tout comme pour la peinture, si vous avez les compétences pour peindre, vous peignez de vous même; si vous ne l'avez pas, vous pouvez peindre en étant guidé. Je ne vais pas vous donner le même résultat, mais certains diront qu'il vous donnera des résultats comparables.
Étant donné que nous assistons aujourd'hui à l'émergence de la double malnutrition, c-a-d. les individus aux deux extrémités de la distribution. Je ne suis pas sûr comment cette suggestion d'une gamme d'ET de 0,8 à 1,2 continuera à être valide.
Ca en vaut la peine,
Carlos
Répondu:
9 années il y aJe souhaite que quelqu'un puisse envoyer en lien ce document. Ensuite, tout ce dont nous avons besoin de savoir est si la recommandation a été adoptée.
Je trouve que c'est une chose très étrange à faire ... si nous avons les données pour calculer une moyenne nous avons aussi les données pour calculer l'ET. Nous savons que, dans l'étude SMART, nous devons calculer l'ET puisque cela est utilisé comme un contrôle de qualité.
Je pense que ce sera mieux car nous aurons alors la symétrie. Si nous avons une population mixte par rapport au risque de malnutrition alors nous pourrions nous attendre à une longue queue gauche et un grand ET. Je suppose que les règles SMART censurent certains vrais cas (et sous-estime la prévalence) à cause de cela ... une question distincte.
Répondu:
9 années il y aCher Carlos,
Je suppose que vous faites référence à ce document, qui suggère que même dans les situations de famine, ET de la P/T n'est pas très différent de 1.
http://www.nutrisurvey.de/ena2011/Golden_Population_nutritional_status_during_famile_surveywhzdis.pdf
Mais cela ne signifie pas qu'il est toujours exactement égal à 1.
Répondu:
9 années il y aSalut André,
Je suis d'accord avec vous, et en aucun cas j'encourage l'utilisation de ET = 1 dans toutes les situations. Je pense que ce point était clair dans notre document évaluant cette question (https://peerj.com/articles/380/).
Dans notre document, nous avons lancé un appel à cette communauté pour discuter de cette question de façon détaillée, pour être en mesure d'avoir un consensus sur si oui ou non, un critère standardisé de nettoyage devrait être largement appliqué. Et si oui, de décider lequel cela devrait être.
BW,
Carlos
Répondu:
9 années il y aAndré,
J'ai vu cette note (je pense qu'elle reste non publiée). Elle fait quelques grandes revendications basées sur l'utilisation d'un test statistique faible qui n'est plus recommandée.
Golden & Grellety (2002) ont testé la normalité dans 228 enquêtes anthropométriques nutritionnelles à l'aide du test à un échantillon de Kolmogorov-Smirnov (KS) et ont constaté que la distribution de P/T en z score ne différait pas significativement de la normalité dans 225 (98,6%) des enquêtes.
Le problème avec cette approche est que le test de KS à un échantillon utilise des paramètres de l'échantillon pour modifier les hypothèses nulles. Cela réduit la puissance du test. D'autres tests tels que Shapiro-Wilk ou Ansderson-Darling sont maintenant préférés au test KS.
J'ai répété l'analyse des Golden & Grellety (2002) en utilisant un sur-ensemble des données qu'ils ont utilisées (n = 560 enquêtes) et j'ai trouvé:
KS test 491/560 = 88% testé normal Test de Shapiro-Wilk 118/560 = 21% testé normalIl y a des problèmes avec le test de Shapiro-Wilk en ceci, qu'il tend à être trop sensible lorsqu'il est utilisé avec des échantillons de grande taille. Il est commun d'investiguer sur les tests positifs en utilisant un tracé de QQ comme dans la Figure 4 de Golden & Grellety (2002). Les écarts à la normalité peuvent être vus (en particulier dans les queues de la distribution) dans cette figure.
Juste pour être clair ... voici un exemple:
Dans cet exemple, il y a une queue clairement à la gauche. Les résultats des tests sont:
KS test p = 0,1638 Shapiro-Wilk essai p <0,0001
La distribution montrée devrait être classée comme normale par les méthodes employées par Golden & Grellety (2002). BTW ... SD dans l'illustration était de 1,17 dans la zone de «plausibilité» dans le SMART.
Je pense que cela met les commentaires de Carlos sur le double fardeau en perspective. Si nous avons un double fardeau alors nous devrions voir une certaine symétrie.
Je pense que cela met aussi en cause la fétichisation / réification de la normalité dans la méthode SMART. Si 88% des enquêtes renvoient un ensemble de données non-normales similaire à celui illustré, alors l'utilisation d'une hypothèse normale pour décider la «plausibilité» va exclure les cas dans la queue gauche et risque de fausser la prévalence à la baisse.
Cela est d'autant d'ailleurs le point. André a raison. Il y a un monde de différence entre quelque chose qui est souvent à l'intérieur de +/- 20% d'une valeur donnée et admettre qu'il doit alors prendre cette valeur donnée. Cela n'a aucun sens pour moi.
Le fait que je trouve un certain nombre de choses absurdes est aussi d'ailleurs le point. Quelle est la procédure «correcte» pour SMART?
Carlos,
Je suis d'accord qu'il doit avoir un débat sur cette question. Je pense que nous pouvons standardiser pour les enquêtes sur la population générale (les populations cliniques seront différentes), mais que les critères doivent être l'une des plausibilité biologique comme il est recommandé par l'OMS et le CDC et ce que nous avons eu l'habitude d'utiliser avant SMART. Je ne pense pas qu'il continue à utiliser les règles qui supposent la normalité quand cette hypothèse est très souvent fausse.
Le fait que ce débat est nécessaire est aussi d'ailleurs le point. Quelle est la procédure «correcte» pour SMART?
Répondu:
9 années il y aSalut Marc,
Très belle analyse, je pense que vous présentez un argument convaincant pour évaluer d'une manière plus approfondie nos hypothèses. Un commentaire, pour les messages à venir, pourriez-vous essayer de faire vos chiffres plus petit pour que je puisse bien écarquiller mes yeux.
Re: votre question. Je pense qu'il y a beaucoup de gens de SMART dans ce forum pour vous fournir une réponse. Je ne suis pas sûr que je serai qualifié comme l'un d'eux. Toutefois, si ce que ENA du logiciel SMART fait, est de suivre la recommandation SMART, alors la procédure SMART "correct" est:
Indicateur = moyenne +/- 3 z-scores observés
BW,
Carlos
Répondu:
9 années il y aDésolé pour la taille de la figure. Le logiciel du forum ne semble pas automatiquement ajuster l'échelle des images, j'ai alors essayé de les rendre assez petites pour être vues sur (par exemple) un dispositif de type netbook et de ne pas être trop grandes et rendre l'accès aux forums trop lents pour ceux qui ont des vitesses de réseau faible. Je vais écrire au gestionnaire de forum pour voir si nous pouvons résoudre ce problème. Entre temps, essayer "Vue -> Zoom In» (ou ce que vous voulez) dans votre navigateur préféré.
Je pense que nous pourrions essayer de répéter l'analyse sur la nouvelle meilleure et grande base de données de l'enquête que nous avons recueillie (autorisations nécessaires).
Personnes WRT SMART (je vais résister à la blague), j'èspère que quelqu'un de l'organisation SMART va me donner la réponse définitive.
Merci pour la clarification WRT ENA pour SMART. Juergen est un bon gars mais a peut-être mal compris (comme moi), parce que la documentation SMART est loin d'être clair. Si c'est la moyenne +/- 3 alors le manuel SMART est faux dans un certain nombre d'endroits.
Répondu:
9 années il y aSalut tout le monde,
En effet, le calcul des critères d'alerte SMART applique +/- 3 Z-scores de la moyenne observée (SD = 1, pas le SD observé).
Alors qu'une version mise à jour du Manuel SMART n'a pas été publiée depuis 2006, pour faire face à des changements dans l'orientation SMART il y a eu des mises à jour de certaines sections du manuel, y compris l'échantillonnage pour SMART (Juin 2012) http://smartmethodology.org/ Enquête sur la planification-outils / smart-méthodologie / smart-méthode-papier / et le Manuel ENA (Août 2012) http://smartmethodology.org/survey-planning-tools/smart-emergency-nutrition-assessment/ena-software-versions/ . De nouvelles sections sont à venir!
Pour plus de renseignements, voir le rapport technique de l'OMS de 1995 sur l'anthropométrie (p 218) concernant les méthodes de calcul des critères d'exclusion flexibles: http://apps.who.int/iris/bitstream/10665/37003/1/WHO_TRS_854.pdf
Répondu:
9 années il y aAlina,
Merci pour la clarification.
Je ne comprends toujours pas les critères d'exclusion de "moyenne (z) +/- 3". Quelqu'un peut-il expliquer les raisons de cela. La justification donnée dans le manuel SMART ne supporte qu'une "moyenne (z) +/- 3 * sd (z)" règle utilisant le SD observé.
BTW: La référence de l'OMS a une "moyenne (z) + / - 4" règle avec quelques règles supplémentaires concernant les valeurs extrêmes comme une «plage d'exclusion flexible".
Merci encore. J'ai ce dont j'ai besoin pour faire le travail.
Répondu:
9 années il y aSalut Marc,
Je ne sais pas si vous avez vu le doc de Michael Golden: SMART: Assurant la qualité des données- le résultat de l'enquête est-il utilisable? Vous pourriez l'avoir déjà vu.
Il peut être téléchargé à partir du site SMART ici:
http://smartmethodology.org/survey-planning-tools/smart-capacity-building-toolbox/ puis sur la section de formation de responsable de l'enquête, cliquez sur "outils et ressources complémentaires", puis choisissez de télécharger le "prospectus" fichier zip. Vous trouverez un fichier PDF intitulé: «Assurer la qualité des données_Michael Golden.pdf".
Il a quelques explications concernant l'utilisation de ET. Désolé pour cette méthode primitive pour expliquer l'emplacement du fichier parce que je ne pouvais pas le télécharger ici ou avoir un lien direct en ligne.
Cordialement,
Sameh
Répondu:
9 années il y aSameh,
Merci pour le lien. Je ne l'avais pas vu.
Cela me trouble (de nouveau).
Ce paragraphe de la page 2 et 3:
Normalement, lorsque nous examinons les données d'enquête, nous trouvons beaucoup plus d'enfants qui ont des valeurs extrêmes que ce qui est donné dans ce tableau. Il serait manifestement erroné de fixer les limites à ± 2 ET de la moyenne car un grand nombre de mesures correctes serait exclu. Si nous fixons à ± 3.0, nous allons exclure de manière erronnée un peu plus d'un sur mille enfants, et les autres enfants que nous aurons exclus correctement parce qu'ils avaient de mauvaises mesures. Si les limites sont fixées à -3,3 voire -3,5, alors presqu'aucun enfant ne sera exclu à tort. Exclure un sur mille mesures quand nous devrions inclure cette mesure ne fait pratiquement aucune différence au résultat final, mais inclure beaucoup d'enfants en dehors de ces limites peut avoir un effet majeur sur le résultat.
La note explicative associée:
Ce sont les "1,3 enfants par milliers" de la note explicative.
Cela ne m'a pas rassuré (encore une fois) de ce qui est la procédure de repérage correcte.
Répondu:
9 années il y aSalut tout le monde,
Pour clarifier, et aller un peu un retour aux sources, drapeaux réfèrent aux valeurs aberrantes, les valeurs extrêmes qui sont si loin de la moyenne que ce qu'ils sont peu susceptibles d'être des mesures correctes. Les erreurs dans le contrôle de plausibilité de l'ENA pour le logiciel SMART sont toujours identifiés sur la base exclusion Smart Cut-offs. Drapeaux SMART (cut-offs) sont basés sur la plausibilité statistique, et excluent toutes les valeurs en dehors de ± 3 Z-scores de la moyenne de la population sondée.
Si les mesures d'une population étudiée forment une distribution normale (courbe en forme de cloche) avec une SD égal à 1 Z-score, basée sur des principes statistiques, 99,7% des observations doit se situer à ± 3 Z-scores de la moyenne. Ainsi, en moyenne environ un sur 1000 mesures exclus peuvent être enlevés à tort (ce qui aura un effet négligeable sur les résultats - il n'y a pas de pénalité dans la plausibilité tableau Vérifier sommaire jusqu'à ce qu'il n'y 25 battant pavillon des données pour 1000 mesures).
Les points supérieurs et inférieurs coupure pour les drapeaux SMART seront différentes dans chaque enquête depuis le moyen d'enquête est utilisé comme point de référence SMART drapeaux (enfants interrogés sont comparés à leur propre population lors de l'utilisation des drapeaux SMART).
Un exemple: Si la moyenne de l'enquête est -1.12 la gamme d'acceptabilité est basée sur SMART (-4,12; 1,88). L'analyse du contrôle de plausibilité (chaque test) sera effectuée sur les valeurs qui se trouvent à l'intérieur de cette fourchette.
Les données (mesures) qui se trouvent à l'extérieur du pavillon SMART seuils ne devraient jamais être enlevés manuellement à partir de l'ensemble de données (par exemple, à partir du module de saisie de données anthropométriques de l'ENA); ils seront automatiquement exclus lors de l'analyse selon les drapeaux choisis et la plage définie dans l'onglet Options. Toute personne qui a accès à l'ensemble de données d'origine doit être en mesure de re-examiner toutes les données (mesures), y compris ceux qui sont exclus lors de l'utilisation des drapeaux SMART. Comme l'écart type de la distribution augmente plusieurs sujets seront à tort exclues de l'analyse lorsque SMART-drapeaux sont appliquées.
Une forte proportion, de données signalées signifie généralement que les mesures collectées par au moins un (ou plusieurs) équipes d'enquête ont été mal prises ou enregistrées. Chacun des dossiers répertoriés dans la section de données battant pavillon devrait être vérifié avec la copie originale du questionnaire papier pour vérifier qu'il n'y a pas d'erreurs de saisie de données.
Une fois de plus, s'il vous plaît ne gardez publié pour le lancement de la plausibilité chapitre mis à jour, qui nous l'espérons apaiser ait plus de confusion!
Répondu:
9 années il y aJe ne suis pas sûr que vous répondez à ma question.
Je ne demande pas sur le logiciel ENA. Je demande à propos de la méthodologie SMART comme décrit dans les documents clés.
Il semble que le logiciel ENA ne met pas en œuvre les méthodes décrites dans les documents SMART qui décrivent la méthodologie SMART.
2006 manuel SMART est un peu confus quant à l'utilisation de l'échantillon SD ou d'utiliser Z = 1 mais tous les exemples indiquent que l'usage de l'échantillon SD.
Les «données Assurer quality_Michael Golden.pdf" 2 014 sur le site Web SMART est très clair que l'échantillon SD est utilisée pour signaler / exclusion.
S'il vous plaît pouvez-vous confirmer que le 2014 «Assurer données quality_Michael Golden.pdf" ne sont pas correctes.
Je tiens à "aller un peu un retour aux sources" ... Je peux comprendre l'utilisation de l'échantillon SD mais je ne peux pas comprendre l'utilisation de Z = 1. Pouvez-vous expliquer pourquoi Z = 1 est utilisé?
Répondu:
9 années il y aZ = 1 est clairement une erreur
Répondu:
9 années il y aJe le pense aussi.
Je ne vois aucune raison pour le Z = 1 approche (il peut y avoir un).
Répondu:
9 années il y aUn point supplémentaire pas encore mentionné, il est pertinent de noter que pour les flags SMART (calculé en utilisant DS = 1) les exclusions sont calculés séparément pour chaque indicateur. Un enfant n'est automatiquement exclu pour tous les 3 Z scores (P/T, T/A et P/A) que si seulement un ou deux des trois scores Z sont signalés. Nous comprenons que ceci soit une distinction des procédures utilisées par les MICS (Enquête statistiques à indicateurs multiples) et DHS (Enquête de démographie et de santé).
Répondu:
9 années il y aChers collègues,
Le nouveau chapitre de SMART "survey plausibility check for anthropometry " est maintenant publié, s'il vous plaît télécharger en ouvrant d'abord le lien suivant:
http://smartmethodology.org/survey-planning-tools/smart-methodology/plausibility-check/
Ensuite, cliquez sur le bouton de téléchargement.
Cordialement,
Sameh
Répondu:
9 années il y aSameh,
Merci pour ça.
Je pense que c'est:
moyenne de l'échantillon z-score +/- 3
l'ajout d'un "z" ici désoriente juste.
Je pense que je préfère:
moyenne de l'échantillon z-score +/- 3 * l'échantillon ET
mais cela apporte des problèmes WRT la source de la moyenne et l'écart type dans les enquêtes de région plus larges telles que MICS et EDS. Au niveau national l'ET pourrait être très grand.
Même avec le SMART:
moyenne de l'échantillon +/- 3
méthode avec laquelle nous avons du mal à décider à quel niveau calculer la moyenne. Si calculés au niveau national, nous pourrions réduire la prévalence en censurant des cas des zones les plus à risque.
Je suppose que la bonne approche serait d'appliquer la censure par l'approche district par district (strate par strate).
Y at-il une ligne directrice pour cela? Que font-ils dans la MICS et EDS?
Répondu:
9 années il y a