Araştırmacı mı Anketçi mi?
Bazı meslekleri bilmeyenlere anlatmak zordur. Araştırmacılık da öyle. Bir de üniversite dışında iseniz ne iş yaptığınızı bir seferde anlatamazsınız. Araştırmacıyım beyanına tepki şu oluyor: “Neyi araştırıyorsunuz?”. İlgili olanlar da şu soruyu ekler “Anketçi misiniz?”.
Toplum anketçi kavramını seçmen anketlerinden biliyor. Hatta firma sahiplerinin bir kısmı da kendine anketçi diyor. Seçmen araştırmaları, niceliksel olarak ölçülmesi zorunlu olan oy eğilimleri gibi verileri hedeflediği için anket tekniği öne çıkıyor. Hatta firmaların büyük bir bölümü sadece anket yapıyor. Oysa araştırma demek anket demek değil. Yanlış anlaşılmasın anket tekniğini küçümsemiyorum: aksine hem önemli bir tecrübe hem de yüksek vasıf gerektiriyor. Ama araştırma düsturlarından kopuk bir “anketçilik”, hem kamuoyunu yanıltıyor hem de anket yapmanın pek kolay bir iş olduğu algısını kuvvetlendiriyor.
Seçmen araştırmalarını diğer araştırmalardan ayırt eden farklılıklar var. En başta, sosyal araştırmalarda toplum/yurttaş, özel sektör araştırmalarında tüketici olan hedef grubun yerini seçmenler alıyor. Katılımcılar seçmen olma özellikleri ile mercek altındalar. Bu yüzden hem araştırmanın bağımsız değişkenlerinin hem de karşılaştırma için geliştirilecek ölçek ve endekslerinin seçmen sosyolojisine uygun olması gerekiyor.
Seçmen araştırmalarını farklı kılan özellikler daha çok işleri zorlaştıran nitelikte. Bu zorlukları gözetmeyen ya da önemsemeyen araştırmacılar anketçi olarak kalıyor. En önemlileri şunlar:
- Oy tercihi katılımcıda mahremiyet hissini artırabiliyor. Kimi zaman da başıma bir şey gelebilir kaygısı ile karşılaşılabiliyor.
- Bu mahremiyet çekincesine karşın toplumda siyaset üzerine konuşma arzusu yüksek, zira Türkiye’de demokratik katılım mekanizmaları sınırlı. Bu yüzden seçimlere katılım, eğilim yoklamalarında ve sokak röportajlarında var olmak temsil duygusunu güçlendiriyor. Bu bir avantaj ama bazen bir şova da dönüşebiliyor. Katılımcı kendini bir görüşün temsilcisi gibi görebiliyor ve bunu gözeterek yanıtlar verebiliyor.
- Oy eğilimleri analizi son kertede seçimlere yönelik kestirimler yapmak için bir değer taşıyor. Bu yüzden tahmin, projeksiyon ve modelleme kurguları şart. Bir soruya katılımcıların kaçta kaçı ne dedi yerine, kim neden bu yanıtı veriyor analizi ile anketçiliğin ötesine geçmek mümkün.
- Oy davranışında ve oy davranışını etkileyen faktörlerde gündemle kuvvetli bağlar bulunuyor. Bu yüzden verilerin hızlı değişen gündemlerle konuşabilmesi gerekiyor. Bu da sahanın hem uzun bir zamana yayılmamasını ve hem yapıldığı zamanın bağlamı ile değerlendirilmesini gerekli kılıyor.
Oy eğilimleri analizi son kertede seçimlere yönelik kestirimler yapmak için bir değer taşıyor. Bu yüzden tahmin, projeksiyon ve modelleme kurguları şart. Bir soruya katılımcıların kaçta kaçı ne dedi yerine, kim neden bu yanıtı veriyor analizi ile anketçiliğin ötesine geçmek mümkün.
- Seçmen araştırmalarının sonuçlarına ilgi yoğun oluyor. Haber değeri de her zaman yüksek bu tür araştırmaların. Kamuoyu her gördüğü sonuçlarda yükselebiliyor. Sonuçları her kesim beklentilerine göre yorumluyor. O yüzden sonuçlar kadar sonuçların aktarılması da önem arz ediyor. Yanlış yorumlanmaya aşırı açık bir alan. Çokça duyduğum bir klişe var: “İstatistik yalan söyleme sanatıdır”. Hayır, değildir. Hata ve yanlışlar olabilir, ama aynı işlemlerden aynı veriler, aynı sonuçlar çıkar. Ama bunu yorumlayan iletişimciler, gazeteciler, siyasetçiler ya da “anketçiler” (ki genelde diğer kimlikleri ile araştırmacılıkları karıştığı için) veriyi yalan söyleme sanatı ile ele alabilirler. Asimilasyon etkisi olarak tanımlanan sıkça yapılan bir manipülasyonu örnek verebilirim. Argümanlarını destekleyen verileri öne çıkarıp, desteklemeyen verilerden bahsetmemek ya da önemsizleştirmek. Örneğin aşı karşıtlarının, aşının çok daha düşük olan risk faktörlerini aşırı vurgulu konu edip, virüsün ölümcül risklerinden bahsetmemeleri gibi. Velhasıl yalan söyleme sanatı kişilere mahsus, disipline değil.
- Seçmenlerin siyaset ve gündem ile ilgi düzeyleri oldukça farklı düzeylerde. Bu yüzden iyi olduğu düşünülen bir soru önemli bir kesimde bir şey ifade etmeyebiliyor. Ortalamayı yakalama çabası da derinliğin kaybolmasına neden oluyor. Bu nedenlerle farklı profillere yönelik ayrı sorular yöneltmek hatta farklı araştırmalar yapmak kaçınılmaz.
Elbette hassas bir konu olduğu ve işin içinde siyaset de olduğu için manipüle edilen araştırmalar olabilir. Ancak aynı konuda oldukça farklı sonuçlara rastlıyor olmamızın tek ya da esas nedeni bu değil. Niyetten bağımsız olarak da pek çok hata yapılıyor. Bunların bir kısmı ehliyet sorunundan, bir kısmı ise yöntem tercihlerinden kaynaklanıyor.
İyi bir araştırmacının işinin önemli bir parçası uygulama tekniklerini de izlemek, deneysel yöntem araştırmaları yapmak olmalı. Ben de anket etnografisi olarak adlandırmanın yanlış olmayacağı bir uğraşı ile buna çabalıyorum. Bunlara ve açıklanan araştırma sonuçlarına dayanarak görebildiğim sorunları ve hataları aktarmaya çalışacağım.
81 İle Gitmek 12 İle Gitmekten Daha Kapsayıcı Değil
Örneklemin iyi seçilmemesi araştırmayı bir israfa dönüştürebiliyor. Daha bilimsel bir referans olmadığı için eldeki Türkiye İstatistiki Bölge Birimleri Sınıflandırması’nı (İBBS) kullanmak genel bir eğilim. Oysa İBBS önce coğrafi sonra ekonomik bir sınıflandırma. Birbirine benzemeyen iller aynı bölgede olabiliyor: Diyarbakır Urfa’nın; Tunceli Malatya’nın; Artvin Trabzon’un alt bölgesinde. Dahası aynı ilin ilçeleri arasında da uçurumlar olabiliyor. Biz TEAM olarak SEP-SIS (sosyo-ekonomik ve politik sınıflandırma sistemi) adını verdiğimiz, ilçelerin sosyo-ekonomik gelişmişlik düzeyleri kadar geçmiş seçim sonuçlarını da baz aldığımız bir sınıflandırma sistemi kullanıyoruz. TÜİK bölgelerini kullandığımızda dahi, illerdeki ilçe ve mahalleleri belirlerken de aynı modeli uyguluyoruz.
Örneklem ile ilgili ikinci husus ise il sayısı. Kamuoyu araştırmaları 1000’den başlayan örneklemlerle yapılıyor. Genellikle 1500-3000 arası yoğunlaşıyor. Bunlar çok sayıda ili hedeflemek için yeterli sayılar değil. Zira il başına düşen örneklemler sınırlı kalır, örneklemin sistematik rastlantısallığını sağlamak zorlaşır. Daha az il, o il içerisindeki çeşitliliğe erişim için, il başına düşen örneklemi artıracağından daha iyi sonuç veriyor. Bu yüzden en kötü tercih 81 ile gitmek. Biz 6000’den küçük örneklemli sahalarımızda 12-15 ilden fazla ile gitmeyi tercih etmiyoruz.
Hata Payı İdeal Şartlarda O Hata Payıdır
Araştırma künyelerinde şu tür bir ifadeye rastlarız: Hata payı %95 güven aralığında +/- %2,5’dir. Bu şu anlama gelir: Bu araştırmayı 100 kere tekrarlarsam 95’inde sonuçlar açıkladığım verinin 2,5 puan üstünde ya da altındaki bir aralıkta çıkar. Örneğin evet oranı %50 ise %47.5 ile %52.5 arasında bir sapma aralığı vardır. Hata payı ancak, diğer koşullar idealse geçerlidir. Tasarımdan, uygulamadan kaynaklı hataları kapsamaz. Oysa sorular iyi anlaşılamamış olabilir. Anketör soruyu yöneltirken hata yapabilir. Anketörün görünümü, tarzı, katılımcıyı rahat davranmamaya itebilir. Katılımcıda kavrama sorunu, çekinme, saklanma, o anki ruh halini etkileyen faktörlerden etkilenme olabilir. Daha birçok sonucu etkileyen hata söz konusu olabilir. Dolayısıyla ideal şartlarda bir deney yapamadığımıza göre sosyal araştırmalarda hata payı açıklananın her zaman üzerindedir.
Hata payının tamamen geçerli olduğunu varsaysak bile gözden kaçan bir unsur daha var. Hata payı genel sonuçlar için geçerlidir. Altkırılımlarda hata payı yükselir. Örneğin %2.5 hata paylı bir araştırma “kadınlarda sonuç böyle” dediğinde, hata payı %2.5’den %3.5’in üstüne çıkabilir. Üniversite mezunu kadınlar üzerine verdiği sonuçlarda ise %10’u bulur. Küçük N’li (gözlem sayısı) kategoriler hakkında verilen sonuçları da görmezden gelmenizi öneririm.
Telefonla mı Yüzyüze mi?
Her ikisinin de avantajları olmakla birlikte seçmen araştırmaları hassasiyetlerini gözettiğimizde yüzyüze ağır basıyor. Çeşitli nedenlerle telefonda görüş bildirmekte katılımcılar rahat değil. Bir yandan kayıt altına girmek istemiyor. Diğer yandan, telefonda rahat davranamıyor ve doğrucu yanıtlara yönelebiliyor. Yüzyüzede güven ve samimiyet ortamı daha rahat kuruluyor. Telefonla örnekleme erişimde bir sistematik tesadüfilik yapılandırmak zor. Anketleri son kertede kabul edenlerle yapıyoruz, telefonda ikna olanlarla, yüzyüze de ikna olanlar da farklılaşıyor ve Türkiye genelini yakalamak daha mümkün. Son olarak yüzyüzede soruların anlaşılırlığı da daha yüksek. Telefonla yapmanın avantajı ise yapılan görüşmelerin kaydedilebilmesi. Yani kontrolü kolay. Maliyeti daha düşük. Bu yüzden özel sektörde hata paylarının fazla önemli olmadığı zamanlarda CATI tercih edilir, hatta hızlı ve kirli (quick and dirty) araştırma tabiri vardır. Eksiktir, ama bu sayede rakamlara takılmadan hızlı aksiyon alırlar.
Bir de tabi çevrimiçi uygulamalar var. Hatta Twitter’da sıkça rastlar olduk. 100 binin üzerinde kişi yanıtladı, kamuoyu şirketleri 2000-3000’le konuşuyor diyenlere ve bu tür şeyleri dikkate alan kanaat önderlerine tanık oluyoruz. Örneklem yapılandırılmamışsa, sayının bir önemi yok. Bize neredeyse hiçbir şey anlatmaz. Örneklem belli bir kesimi hedefleyebilir ve ona göre yapılandırılırsa sorun yok: Türkiye’yi temsil etmez ama bize veri sağlar. Ancak örneklem sistematik olmayan bir şekilde rastgele ise, yani yapısı hakkında verimiz yoksa, o zaman o sonuçlar işe yaramaz. “Bir anketimiz var yanıtlar mısınız?” türü çağrılarla yapılan araştırmaların çoğu da bu zaafı taşıyor.
Örneklem yapılandırılmamışsa, sayının bir önemi yok. Bize neredeyse hiçbir şey anlatmaz. Örneklem belli bir kesimi hedefleyebilir ve ona göre yapılandırılırsa sorun yok: Türkiye’yi temsil etmez ama bize veri sağlar. Ancak örneklem sistematik olmayan bir şekilde rastgele ise, yani yapısı hakkında verimiz yoksa, o zaman o sonuçlar işe yaramaz.
Seçmen araştırmalarında analizle ilgili en önemli husus ise erişilen verinin temsiliyet kabiliyeti. Örneklem Türkiye’nin sosyo-demografisini yansıttığı kadar, kültürel ve kimliksel çeşitliliğini de yansıtmalı. Bu yüzden yukarıda bahsettiğim bölgesel sınıflandırmayı kullanıyoruz ama bu yetmez. Veriyi de Türkiye verileri ile denkleştirmek (ağırlıklandırma) gerekiyor. Yaş, cinsiyet ve eğitim düzeyi Türkiye sonuçlarına paralel değilse bunu analizde dikkate almak gerekiyor. Seçmen araştırmaları söz konusu olduğu için, son genel seçimdeki oy tercihleri dağılımının da data ile denk olması diğer önemli kriter.
İstediğimiz Sorudan Başlayabilir miyiz?
Kamuoyu araştırmaları olarak karşılaştığımız çalışmaların çoğu bilimsel araştırma mahiyetinde sayılmaz. Zira bir dizi soruya yanıt almak bir çalışmayı bilimsel araştırma yapmıyor. Bunun için araştırmacının araştırma ile bilgisini üretmeyi hedeflediği bir araştırma sorusu, yaklaşımı ve buna uygun bir araştırma deseni olmalı. Soru formlarına sıra en son gelmeli. Bizdeki genel alışkanlık ise önce soruları düşünmek. Birçok kamuoyu araştırması, aklına soru gelenin Twitter’da anket açarak araştırma yaptığını iddia ettiği düzeyde kalıyor. Hatta bazı şirketler, düzenli yaptıkları araştırmaları farklı müşterilerden soruları ekleyerek, bir sahadan farklı raporlar üretebiliyor. Oysa her araştırma özgün olmalıdır. Araştırma deseni gibi, katılımcılara yöneltilen sorular da bir tasarıma tabi olmalıdır, kurgusu olmalıdır. Her soru bir amacı karşılamak için orada olmalıdır, olmadığında o araştırmanın eksik kaldığı hissedilmelidir.
Akla Gelen Değil Çalışan Sorular
Hiçbir soru formu, aklıma güzel bir soru geldi şeklinde tasarlanmamalı. Ya da “şunu da sorsak ya” diyen parlak fikirlerden, “çıkmışken sahaya şunu da sorsak” diyen maksimalizmden uzak durulmalı. Bunlar yerine araştırma çerçevesi ve araştırma soruları referans olmalı. Bu sağlandıktan sonra üç temel kriter kalıyor. Sorular 1) teknik olarak çalışıyor mu, 2) anlaşılıyor mu ve 3) anketin bağlamından ve diğer sorulardan etkileniyor mu (anketteki yeri doğru mu).
Bir sorunun nasıl sorulduğu her araştırmada sonuçları etkiler ama seçmen davranışı araştırmalarında daha da hassas bir konu. Örneğin siyasi davranış literatüründe yapılan araştırmalar, oy tercihi sorusunu aynı araştırmada farklı biçimlerde sorduklarında farklı sonuçlara varmışlar. Örneğin “Bu Pazar seçim olsa” kalıbı yerine seçim tarihini vererek ve somutlayarak, şu tarihteki seçimlerde hangi partiye oy vereceksiniz diye sorulduğunda yanıtların değiştiği gözlemlemiş. İlki daha kısa vadeli tutumu ölçerken, ikincisi seçmenin büyük fotoğrafı sadece o günü değil de tüm zamanları düşünerek değerlendirmesine neden olabiliyor. İkisi de önemli olabilir ama aynı veri değil.
Anket soruları bizim için açık olsa da katılımcılar tarafından anlaşılmayabiliyor, soyutluk düzeyi arttıkça, cümlelerdeki koşullar çoğaldıkça anlaşılması zorlaşabiliyor. Yaygın olarak bilinmeyen kelimeler de işi karıştırabiliyor. Uzun cümleli seçenekler akılda kalmıyor. Yorulan katılımcı özensiz yanıt verebiliyor.
Soru tasarımlarına en şok rastlanılan hata ise yanlılık. Çoğu zaman kasıtlı olmadan, fark edilmeden yapılır. Seçtiğimiz kavramlar, kurduğumuz cümleler katılımcıda bir algı oluşturabilir. Sık yapılan hatalardan biri de örnekler vermek. Örnekler sorulmak istenen şeyin önüne geçebiliyor.
Diğer bir yaygın hata varyans hatası. Sorduğumuz soru farklı farklı anlaşılmışsa, biz neyi ölçtüğümüzü bilemeyiz. Yani sorular farklı patikalara açılmamalı. Mümkün olduğunca her katılımcıda aynı şeyi ölçmeli. Örneğin X ismindeki siyasetçi sizce iyi bir siyasetçi mi diye sorsak, kimi katılımcı onun kişiliğine göre yanıt verirken kimisi ise siyaseti iyi becerip beceremediğini değerlendirebilir. Ama biz analizde hangi çerçevede iyi bulduğunu ya da bulmadığını bilmeden ortalamayı görürüz.
Sorduğumuz soru farklı farklı anlaşılmışsa, biz neyi ölçtüğümüzü bilemeyiz. Yani sorular farklı patikalara açılmamalı. Mümkün olduğunca her katılımcıda aynı şeyi ölçmeli.
Başka bir tipik hata ise bir sorunun birden fazla değişkeni kapsaması. Örneğin X ismindeki siyasetçi cesur ve güvenilir bir siyasetçidir ifadesine ne düzeyde katılıyorsunuz diye sormuş olalım. Çok cesurdur ama hiç güvenilir değildir diye düşünenler ne yapacaklarını bilemezler.
Her anket bir bağlam oluşturur. Özellikle anket ilerledikçe katılımcı oluşan bağlam içerisinde düşünmeye ve davranmaya başlar. Bu yüzden birincisi bağlamdan etkilenmemesi için hassas soruları daha erken sormak önemli. Bir baskın bağlam oluşmamasını sağlayacak soru çeşitliliği oldukça işe yarar. Bağlam kadar soruların sırası da diğer bir etken. Sorulan her sorunun öncesindeki sorulardan nasıl etkileneceği hesap edilmeli.
Çok az çalışma bunlara dikkat ediyor. Zaman baskısı da ideal ankete uzak kalmanın diğer bir nedeni. Hatasıyla sevabıyla araştırma verisine sahip olmak güzel bir şey. Ama veriyi yorumlayacak olanların ya da veri okuyucusunun sorunların farkında olması, hızlı genellemelere varmamasını sağlayabilir. En büyük hata da hatalar barındıran sonuçları gerçeklik olarak ortaya koymak, hataları fark etmemek ya da önemsememektir.
