Tıpta Tanı Testleri ve Risk Değerlendirmelerinde Kullanılan Temel Kavramlar Ana Sayfa

  1. Tıpta Tanı Testleri ve Risk Değerlendirmelerinde Kullanılan Temel Kavramlar

    Feza Uğurman, M.Bahadır Berktaş





    --------------------------------------------------------------------------------
    ÖZET

    Bu makalede tanı testlerini ve risk faktörlerini değerlendirmek için kullanılan kavramlar anlatılmıştır. Bu kapsam içinde, tanı testlerinde sıkça karşılaşılan duyarlılık, seçicilik, yanlış negatiflik, yanlış pozitiflik, test sonucu olabilirlik oranı, doğruluk, pozitif ve negatif kestirim gücü değerleri ve işlem karakteristiği eğrisi (ROC) ele alınmıştır. Yazının ikinci bölümünde ise risk faktörlerini tanımlamaya yönelik planlanan çalışma yöntemlerine, bu yöntemlerle ilgili terminolojiye ve risk ile ilgili oransal risk, odds oranı, atfedilen risk kavramlarına yer verilmiştir.

    Akciğer Arşivi: 2003; 4: 235-240

    Anahtar Kelimeler: Tanı testleri, duyarlılık, seçicilik, olabilirlik oranı, doğruluk, pozitif kestirim değeri, negatif kestirim değeri, işlem karakteristiği eğrisi, risk faktörleri, oransal risk, odds oranı, atfedilen risk.



    SUMMARY

    The Basic Concepts Used to Evaluate Diagnostic Tests and Risk in Medicine

    Concepts describing the performance of a diagnostic test and measures of risk evaluation are discussed in this text. It includes frequently used sensitivity, specificity, false negative rate, false positive rate, likelihood ratio, accuracy, positive and negative predictive value and receiver operating characteristics curve (ROC). Also study designs assessing risk factors and related terminology, relative risk, odds ratio, attributable risk concepts explained in the second part.

    Archieves of Pulmonary: 2003; 4: 235-240

    Key Words: Diagnostic test, sensitivity, specificity, likelihood ratio, accuracy, positive predictive value, negative predictive value, ROC, risk evaluation, relative risk, odds ratio, attributable risk.



    --------------------------------------------------------------------------------


    Giriş

    Bir araştırmada kullanılan yöntem ve tekniklerin, kesin doğru olduğu varsayılan bir ölçümün (altın standart test) sonuçları ile kıyaslanmasıyla ortaya çıkan belirleyiciliğine testin geçerliliği ya da kabaca, tanı değeri denir. Klinik uygulamalarda bir çok araştırma, var olan sorunu ortaya koymak için yeni teknikler kullanmaya yönelik olarak yapılmaktadır. Bu gibi çalışmalarda tanı testinin değeri ile ilgili olarak bir çok kavram vardır ve çoğu klinisyen tarafından ne ifade ettikleri tam olarak anlaşılmayan bu kavramlar, kafa karışıklığına yol açmaktadır.

    Bir etkenin ya da etkenlerin hangi türde ve ne güçte bir etkide bulunduğu, bu etkinin sonuçları nasıl değiştirebildiğine yönelik araştırmalar ise risk faktörlerini tanımlamaya yönelik olan araştırmalardır. Bu amaçla dizayn edilen araştırmalar ileriye yönelik (prospektif) ya da geriye yönelik (retrospektif) olarak dizayn edilebilir. Her iki tür araştırmada risk faktörünü tanımlamaya yönelik olarak kullanılan hesaplamalar farklıdır ve araştırmacılar bu tanımları kullanma ya da ne ifade ettiğini anlama sorunuyla karşı karşıya kalmaktadır.

    Bu makale, tanı testleri ve risk değerlendirmeleri ile ilgili, sıkça karşılaşılan kavramları açıklamak amacıyla yazılmıştır.

    Tanı Testlerinde Temel Kavramlar

    Tanı testinin denetimi ya gerçek hasta ve sağlamlar üzerinde ya da gerçeği yansıttığından kuşku bulunmayan bir ana tanı testi (altın standart test) sonucuna göre yapılır. Altın standart test ve geçerliliği araştırılacak tanı testi 2 x 2 boyutlarında bir tabloya yerleştirilir. Tablonun sütun kısmında altın standart test, satır bölümünde ise tanı testi yerleştirilir. Her göze şekil 1?deki gibi soldan sağa doğru bir harf konulur.

    Buna göre ?a? gözü gerçek tanıya uygun olarak tanı testinin de hasta dediği olgular yani gerçek pozitifler (GP), ?b? gözü hastalık olmadığı halde tanı testinin hasta olarak saptadığı olgular yani yalancı pozitifleri (YP) ifade eder. Hasta olduğu halde tanı testinin saptayamadığı olgular (yalancı negatifler?YN) ?c? gözünde, gerçek negatifler (GN) ise ?d? gözünde bulunmaktadır.

    Duyarlılık (Sensitivite):

    Bir testin gerçek hastalar içinden hastaları bulma yeteneğidir.

    Yani duyarlılık = a / a + c formülü ile yazılır.

    Seçicilik (Spesifite, özgüllük):

    Bir testin gerçek sağlamlar içinden sağlamları ayırma yeteneğidir.

    Kısaca spesifite = d / d + b formülü ile anlatılır.

    Duyarlılık ve seçiciliğin her ikisi de yükseldikçe, testin geçerliliği artar. İyi bir test her iki özelliği de en yüksek olan testtir ama bu her zaman mümkün olmaz. Eğer uygulamada amaç daha çok patolojik olanları yakalamaksa duyarlılığı yüksek bir test, eğer sağlamları ayırmaksa seçiciliği yüksek bir test tercih edilmelidir.

    Yanlış Negatiflik Oranı:

    Gerçek hastalar içinde testin hatalı olarak sağlam dediği olgulardır. Yani c / c + a ya da YN /YN + GP formülü ile ifade bulur. Yanlış negatiflik oranını (1-Duyarlılık) olarak da yazmak mümkündür.

    Yanlış Pozitiflik Oranı:

    Gerçek sağlamlar içinden testin hatalı olarak hasta dediği olgulardır. Formülle ifade edildiğinde

    b / b + d ya da YP / YP + GN olarak veya

    (1 ? Seçicilik) olarak yazılır.

    Test Sonucu Olabilirlik Oranı (Likelihood ratio):

    Olguların elde edilmesinde kesinliği arttıran bir değer olarak kullanılır. Bir öngörü tekniğidir.

    ?Bir test sonucunun (pozitif ya da negatif) hastalarda görülme olasılığının, hasta olmayanlarda görülme olasılığına bölünmesidir?

    Formülle yazıldığında pozitif olabilirlik oranı

    Duyarlılık / (1-Seçicilik) yani Doğru (+) /

    Yalancı (+) olarak ifade bulur.

    Böylece pozitif test sonucu olabilirlik oranı, testin gerçek hastalar arasında doğruları bulma oranının, sağlamlar arasında yanlış pozitifliğe oranı olarak açıklanabilir. Bu oran ne kadar yüksek olursa gerçek hastalar o kadar iyi ayırt edilebilirler.

    Bir örnek verilecek olursa: Bir testin duyarlılığı 0.883, seçiciliği ise 0.871 olarak bulunmuş olsun. Bu durumda yalancı pozitiflik 1-seçicilik olduğu için (1-0.871=0.129) olarak bulunur. Bu durumda pozitif olabilirlik oranı (0.883/0.129) 6.85 olarak hesaplanır. Bunun anlamı, testin tanı koydukları arasında tanısı doğrulananların, doğrulanmayanlara göre 6.85 kat fazla olduğudur. Test her 6.85 doğru pozitife karşı 1 yanlış pozitif sonuç verir ya da başka bir deyişle yaklaşık her 8 pozitif sonucun biri yanlış diyebiliriz.

    Negatif test sonucu olabilirlik oranı ise sağlam tanısının doğruluk oranıdır.

    (1 ? Duyarlılık) / Seçicilik olarak yazılır. Bu oran ne kadar küçük olursa gerçek sağlamlar o kadar iyi ayrımlanabilmektedir.

    Doğruluk (Accuracy):

    Gerçekte testin (hasta ve sağlam) olarak toplam doğru tanı oranıdır. Yani gerçek pozitif ve gerçek negatiflerin toplamının bütün denek sayısına bölünmesi ile (a + d / a + b + c + d) bulunur. İki testin duyarlılık ve özgüllüğü aynı bile olsa doğruluk değeri farklı çıkabilir.

    Kestirim Gücü (Prediktif değerler, Öngörü değeri):

    Bir testin verdiği sonucun gerçeği yansıtma gücüdür. Duyarlılık ve özgüllük, gerçek hasta ve sağlamlar arasında testin hasta ve sağlamları ayıklama gücünü belirlerken, kestirim gücü testin hasta ya da sağlam dediklerinin ne oranda gerçek olduğunu ölçer. Kısaca pozitif kestirim değeri, pozitif sonuçla karşılaşan bir hekimin ?bu hastanın gerçek bir hasta olma olasılığını nedir ?? sorusunun yanıtını verir. Negatif kestirim değeri ise, aynı şekilde negatif test sonucu ile karşılaşıldığında, ?bu kişinin gerçek bir sağlam olma olasılığını nedir ?? sorusunun cevabını oluşturur.

    Pozitif prediktif (ya da kestirim) değeri Bayes kuramı çerçevesinde a / a + b formülü ile ve negatif prediktif (ya da kestirim) değeri ise d / d + c formülü ile ifade edilir.

    Bir hastanın tanı aşamasında daha hiçbir test yapmadan önce onda A hastalığı bulunması olasılığı pretest (öncel) olasılık olarak adlandırılır. Hasta hakkında hiçbir şey bilmiyorsak bu olasılık o hastalığın toplumdaki prevalansıdır. Eğer hastanın yaşı, cinsiyeti, sigara öyküsü vb. özelliklerini de biliyorsak bu bilgilere dayanarak A hastalığı olasılığını artırır ya da azaltabiliriz. Bu şekilde anamnez, fizik muayene ve diğer tanı testleri haricindeki bilgilerden yararlanarak saptadığımız olasılık bir öncel olasılıktır. Bir tanı testi uyguladığımızda testin sonucu bu olasılığı artırır ya da azaltır. Bu yeni olasılık sonral (posttest) olasılıktır. Öncel olasılığın büyüklüğü sonral olasılığın büyüklüğünü de etkiler. Bu nedenle prediktif değer gibi sonral olasılığa ait kavramlar öncel olasılık olmadan bir anlam taşımazlar. Bir öncel olasılık belirtmeden (hiç değilse prevalans rakamı) prediktif değerlere yer verilmesi tavsiye edilmeyen, hatta kınanan bir yaklaşımdır.

    Kestirim gücü testlerinin duyarlılık ve özgüllük kadar güvenilir olmadığı, onların önüne geçmemesi gerektiği söylenmektedir. Ayrıca bu yöntemle hesaplanan kestirim değerleri, prevalans ile de değişmektedir. Prevalans değiştiğinde, hala birbirine çok yakın seçicilik değerleri saptanabildiği halde, kestirim gücü önemli derecelerde farklılık gösterebilir. Kestirim gücü değerleri yerine, prevalanstan etkilenmediği için test sonucu olabilirlik oranlarının kullanılması tavsiye edilmektedir.

    İşlem Karakteristiği Eğrisi (ROC):

    ROC adı, bir radar terimi olan ve doğru radyo sinyallerini gürültüden ayırt etmeye yarayan Receiver Operating Characteristic?ten gelmektedir.

    Bu yöntem,1) Testin ayırt etme gücünün belirlenmesinde, 2) Çeşitli testlerin etkinliklerinin kıyaslanmasında, 3) Uygun pozitiflik eşiğinin belirlenmesinde, 4) Laboratuvar sonuçlarının kalitesinin izlenmesinde, 5) Uygulayıcının gelişiminin izlenmesinde ve 6) Farklı uygulayıcıların etkinliklerinin kıyaslanmasına olanak sağlar. İşlem karakteristiği eğrisi, koordinat sisteminin ordinatına duyarlılık ve apsisine ise yanlış pozitiflik (1-Seçicilik) konularak çizdirilir. Tanı testi ne kadar iyi ise eğri o kadar yukarıya ve sola doğru kayar (Şekil 2).

    Böyle bir eğri çizildikten sonra, eğrinin altında kalan alan hesaplanabilir (Area Under Curve ? AUC). AUC değeri ne kadar yüksek ise, tanı testi o kadar iyi bir ayrım yeteneğine sahiptir. Örneğin 0.975 üzerindeki AUC değerleri, mükemmel sayılmaktadır. AUC?nin 0.5?den farklı olup olmadığı istatistiksel olarak test edilmeli ve buna ait p değeri de birlikte verilmelidir. İki farklı teste ait AUC değerleri arasındaki fark istatistiksel olarak anlamlı ise AUC?si büyük olan test daha fazla ayrım gücüne sahip demektir.

    Riski Değerlendirmeleri

    Şu anda sağlıklı olan bir insanda belirli bir hastalığın oluşması olasılığını artıran şartlar, fiziksel özellikler ya da davranışlar o hastalık için risk faktörleri olarak adlandırılırlar. Maruziyet (exposure) ise hasta olmadan önce risk faktörü ile karşılaşma ya da risk olan duruma sahip olmaktır. Riskin ölçülmesi şu şekilde tasarlanmış araştırmalar ile yapılır.


    Risk ölçülmesinde kullanılan araştırma tasarımları

    A. Deneysel araştırmalar

    Araştırmacı olguların deney grubunda mı yoksa kontrol grubunda mı olacaklarını saptar ve bir değişkeni aktif olarak değiştirirken (bağımsız değişken denir) diğer değişkende bu müdahalenin yol açtığı değişiklikleri (bağımlı değişken) gözler.

    Örnek: Kafeinin sistemik kan basıncına etkisinin incelenmesi için kobaylardan oluşan iki grup oluşturmak ve bir gruba her gün kafein (deney grubu) diğer gruba ise plasebo (kontrol grubu) vermek ve her gün kobayların kan basınçlarını ölçmek. Kafeinin verilip verilmediği bağımsız değişken, kan basıncı değerleri ise bağımlı değişkendir.

    B: Gözlemsel çalışmalar

    Olguların hangi grupta yer alacakları kendiliğinden bellidir (biz seçemeyiz). Risk faktörlerine değişik düzeyde maruz kalan bu grupların bu maruziyete karşı yanıtları gözlemlenir (bu sürece araştırmacının aktif müdahalesi söz konusu değildir).

    1. Tanımlayıcı (descriptive) çalışmalar

    Hastalığın görülme sıklığını verirler. Daha ziyade potansiyel risk faktörü-hastalık ilişkilerine dikkat çekerler.

    2. Çözümleyici (analytic) çalışmalar

    Risk faktörlerini tanımlayarak hastalığın görülme sıklığı ve dağılım paternleri açıklamaya çalışırlar. Neden ve sonuç ilişkisini gösterirler. Tedavi etkinliği ve koruyucu tedavi girişimlerini araştırmakta kullanılabilirler. Gözlemsel çalışmalar ?bias?a (hata ya da bilerek veya bilmeden taraf tutma) daha açıktır. Örneğin, yaş ve cinsiyet yönünden benzer iki grup oluşturduğumuzu, ancak daha sonra bir grupta siyah ırktan olanların daha fazla ve bu grupta ayrıca hastalık şiddetlerinin daha ağır olduğunu fark ettiğimizi varsayalım. Buradaki ?ırk? ve ?hastalık şiddeti? değişkenleri, bizim izlemediğimiz değişkenlerdir. Ancak sonuçta gözlenen etkinin nedenleri arasında bu iki değişkenin de rolü olabilir. Bunlara ?confounding? (etki değiştirici) değişkenler denir.

    Gözlemsel çalışma tasarımları:

    1. Prospektif kohort çalışması (ileriye yönelik çalışma, prospektif çalışma, kohort çalışması, insidans çalışması, follow-up çalışma, longitudinal çalışma):

    Başlangıçta sağlıklı olan ve şüphelenilen risk faktörlerine farklı düzeylerde maruz kalmış bireylerden oluşan kohort (incelediğimiz özelliğin dışındaki belirli bir ortak noktaya sahip bireyler topluluğu) zamanda ileri doğru takip edilir. Bir süre sonra her bir grupta araştırılan hastalığın insidansı saptanır (Şekil 3).

    Yanıt (response) ya da sonuç değişkeni (outcome variable) insidans dışında her hangi bir sağlık durumu da (remisyon oranı, ölüm hızı, sağkalım vb.) olabilir. Grupların risk faktörüne maruziyetin dışında diğer bütün özellikler açısından benzer olması gerekir.

    Sonuçların değerlendirilmesi (dikotom değişkenlerde), tanı testlerinde olduğu gibi 2 x 2 tablo yardımıyla yapılır. Burada sütün kısmında yine hastalık yer alır ama satır bölümünde maruz kalma durumu belirtilir (Şekil 4)

    Maruz kalan ve kalmayanlardan oluşan grupların büyüklüğü baştan bellidir. Ancak her iki grupta ne kadar hasta ortaya çıkacağını zaman belirler. Her iki gruptaki hastalık insidansları karşılaştırıldığında istatistiksel olarak anlamlı ölçüde fazla (yani farklılık şansa bağlı olamayacak kadar büyük) insidans eğer etkene maruz kalan grupta görüldüyse bu durum risk faktör ile hastalık arasındaki ilişkinin kanıtı kabul edilir. Tersine eğer M+ grubunda hastalık insidansı daha düşük ise etken (risk faktörü) hastalıktan koruyor demektir.

    Eğer veri sayımla elde edildiyse (sayımla elde edilen veriler hasta sayısı, ölenlerin sayısı gibi 3, 5, 70 şeklindeki tam sayılardır. Süreklilik gösteren 3.5, ya da 2.75 gibi sayılar bu amaçla kullanılamaz) risk faktörü ile hastalık arasındaki ilişkinin gücü relatif risk ya da odds ratio ile gösterilebilir. Ancak eğer veri sürekli sayısal değişkenlerden oluşuyorsa (mg/dl, boy, ağırlıkta olduğu gibi 2,376 şeklinde bütün ara değerleri alabiliyorsa) ilişkinin gücü korelasyon regresyon analizleri ile belirlenir.

    Oransal Risk (Relative risk, RR, Risk Ratio, Bağlı risk):

    Risk faktörüne maruz kalındığında ve kalınmadığında ki hastalık geliştirme risklerini (insidanslarını) karşılaştırır. RR sadece kohort tipi gözlemsel çalışmalarından ve deneysel çalışmalardan hesaplanabilir. Asla retrospektif çalışmalardan bulunamaz. Prospektif çalışmalar riskin doğrudan tahminin sağlayan tek gözlemsel çalışma tasarımıdır. Bu bakımdan deneysel çalışmalara en yakın olandır. Ancak yürütülmesi bir çok zorluk içerir.

    Risk faktörüne maruz kalan hastalık insidansı
    Relative risk= ------------------------------------------------------------
    Risk faktörüne maruz kalmayanlarda hastalık insidansı

    Dört gözlü tablodan şöyle bulunur.

    a/(a+b)
    Relative risk= --------
    c/(c+d)

    2. Olgu?kontrol çalışması (Case ? control study) (geriye yönelik çalışma, retrospektif çalışma, case-referent study)

    Olgular, hastalar ve hasta olmayanlar (kontrol) olarak ikiye ayrılır ve zamanda geriye doğru gidilerek şüphelenilen risk faktörü ile maruz kalıp kalmadıkları araştırılır. Şekil 5?te olgu-kontrol ve prospektif çalışma tasarımları karşılaştırılmıştır.

    Olgu-kontrol çalışmalarında ilişkinin ölçülmesi:

    i. Bu tasarımlarda RR hesaplanamaz. Belirli durumlarda odds ratio RR?nin kabul edilebilir bir tahmini verir.

    ii. Değişkenler kategorikse (dikotom ya da politom) Ki-kare (Chi-square) testi ile de ilişki olup olmadığı saptanabilir.

    iii. Sürekli değişkenler söz konusu ise korelasyon, regresyon testleri yapılmalıdır.

    Odds ratio (OR):

    Olayın olma olasılığı (p)
    Odds= --------------------------------
    Olayın olmama olasılığı (1-p)

    Riske maruz kalanlarda hastalık odds?u
    Odds ratio= ---------------------------------------------
    Riske maruz kalmayanlarda hastalık odds?u

    olduğundan OR formülünün payında yer alan riske maruz kalanlarda hastalık odds?u şöyle bulunur.

    a/(a+b)
    Riske maruz kalanlarda hastalık odds?u= ---------- a / b
    b/(a+b)

    c/(c+d)
    Riske maruz kalmayanlarda hastalık odds?u ise= -------- c/d
    d/(c+d)

    şeklinde hesaplanır

    Bu oranlar formülde pay ve paydaya konduğunda:

    a/b axd
    OR= ------- = -------- (içler çarpımı / dışlar çarpımı) olarak yazılabilir.
    c/d bxc

    ?Olgu-kontrol? çalışmaları için geçerli şartlı olasılıklar, prospektif ya da deneysel çalışmalar için geçerli olanlardan farklı olsa da basitleştirilmiş hesaplama şekli olan a .d / b .c her ikisi için de doğrudur.

    Eğer bağımlı gruplar söz konusu ise OR= b / c olur.

    RR ve OR?yi yorumlama:

    Nadir görülen hastalıklarda (prevelansı %10 dan az) OR @RR?dir. Dolayısıyla

    1. Şüphelenilen risk faktörüne maruz kalanlarda hastalık oluşma riski, o risk faktörüne maruz kalmayanlara göre ?OR? kat daha fazladır.

    2. OR büyüdükçe risk faktörü ile hastalık arasındaki ilişki güçlenir.

    3. OR=1 ya da 1?e çok yakınsa şüphelenilen risk faktörü o hastalıkla ilişkili değildir.

    4. OR<1 ise ilişki ters yöndedir. Yani o etken hastalık görülme riskini azaltıyor (koruyucu etki) demektir.

    Potansiyel Etkinin (Impact) Ölçülmesi

    Bunun için öncelikle risk faktörü ile hastalık arasında neden sonuç ilişkisinin kurulmuş olması gereklidir.

    Atfedilen Risk (attributable risk, risk difference, excess risk, rate difference):

    Atfedilen Risk (AR) o etkene maruz kalmakla açıklanabilen, fazladan (etkene maruz kalmayanlara göre) hastalık riskini ifade eder. Başka bir deyişle ?eğer o risk faktörüne maruziyet engellenebilseydi tahminen kaç kişinin hastalanması önlenebilirdi?? sorusunu karşılar. Bu yüzden, o etkeninin bir halk sağlığı sorunu olarak ne kadar önemli olduğunun göstergelerindendir. Etkene maruz kalan ve kalmayanlardaki hastalık insidanslarının bilinmesi gerektiğinden AR sadece kohort ya da deneysel çalışmalarda hesaplanabilir.

    Kısaca AR, etkene maruz kalanlardaki insidans değerinden, kalmayanlardaki insidans değerinin çıkarılması ile (Etkene maruz kalanlardaki hastalık insidansı ? etkene maruz kalmayanlardaki hastalık insidansı) hesaplanır.

    Etkene maruz kalanlarda hastalık gelişmesi riski ?AR? kadar artmıştır. Örneğin pestisitlere maruz kalma ile düşük yapma arasındaki ilişki gösterilmiş ve AR=0.2 bulunmuş olsun. Bu durum, hamile bir kadın pestisitlere maruz kalırsa düşük yapma riski 0.2 kat artacaktır şeklinde yorumlanır.

    Toplumda atfedilen risk (Population attributable risk - PAR):

    Bir toplumda belirli bir hastalığa yakalanma riskindeki o yalnızca etkene maruziyetle açıklanabilecek fazladan risk miktarıdır.

    PAR= ?AR x maruziyet prevalansı?dır.

    Maruz kalanlarda atfedilebilen kısım, AFE (Attributable fraction in exposed, simple etiologic fraction:

    AR?nin maruz kalanların oranına bölünmesidir.

    Eğer RR &#8805; 1 ise AFE = RR-1/RR olur.

    Örneğin önceki örnekte düşük yapma riski için pestisit maruziyetinin AFE = 0.33 bulunmuşsa pestisite maruz kalanlarda görülen düşüklerin %33?ünün nedeni bu maruziyettir denebilir.

    Kaynaklar

    1. Knapp RG, Miller III MC. Clinical epidemiology and biostatistics. Pennsylvania; Harwal Publishing Co, 1992:109-31, 233-55.
    2. Dawson-Saunders B, Trapp RG. Basic and clinical biostatistics. London; Prentice-Hall Int. Inc, 1990:43-64.
    3. Ingelfinger JA, Mosteller F, Thibodeau LA, Ware JH. Biostatistics in clinical medicine. New York; McGraw Hill Inc, 1994: 26-37, 307-30.
    4. Sümbüloğlu K. Sağlık alanına özel istatistiksel yöntemler. Ankara; Özdemir yayıncılık, 1994: 97-9.
    5. Aksakoğlu G. Sağlıkta araştırma teknikleri ve analiz yöntemleri. 1.basım. İzmir: Dokuz Eylül Üniversitesi Rektörlük Matbaası, 2001: 43-93.


    Kaynak: http://www.akcigerarsivi.com/yazilar.asp?yaziid=166&sayiid=17
    (egitlopedi , 2006-10-17 17:06:14)