Brzmi poważnie. Jednak zagadnienie to jest ważne i istotne. Osoba poszukująca dobrych badań marketingowych prędzej czy później powinna spotykać się z tematyką rzetelności pomiaru. Myślę, że warto dowiedzieć się „małe co nieco” na ten temat. Na rynku funkcjonuje wiele agencji badawczych, a firmy zlecające im wykonanie badań chciałyby, aby otrzymane z tych badań dan były czyli rzetelne. Zanim jednak przejdziemy do sedna sprawy zdefiniujmy lub przypomnijmy używane pojęcia.
Najogólniej, badanie marketingowe to proces gromadzenia i analizowania danych. Zgromadzone dane pomagają w podjęciu właściwych działań marketingowych. Dzięki danym jesteśmy w stanie tworzyć informacje określające np. odpowiadające potrzebom konsumenta
Kwestionariusz to narzędzie pomiarowe składające się z pozycji pomiarowych jakiego używamy w badaniu. Rzetelność natomiast to najprościej rzecz ujmując dokładność z jaką dokonujemy pomiaru.
Dlaczego rzetelność pomiaru jest ważna w badaniach marketingowych? Po co nam rzetelność pozycji testowych? Na co zwrócić uwagę wyznaczając rzetelność pozycji testowych w badaniach marketingowych?
Jeżeli szukamy firmy, której chcemy zlecić badanie, prawdopodobnie chcielibyśmy aby badanie zostało zrealizowane z zachowaniem najwyższej jakość – metodologii. Jeżeli znamy choć w przybliżeniu pojęcie rzetelności w badaniach, możemy bardziej krytycznie podejść do oceny i wyboru metodologii badawczej (począwszy od postępowania przygotowawczego).
Pytanie o rzetelność jest pytaniem o jakość pomiaru. Wynik jaki otrzymujemy w trackie pomiaru/ ów jest składową wyniku prawdziwego i błędu pomiaru, który obniża jakość pomiaru. Wyobraźmy sobie, że mamy centymetr (kwestionariusz), który mierzy wysokość szafki (badany obiekt, właściwość). Rzetelny pomiar jest spójny w zakresie mierzonej cechy (wysokość szafki nie zmienia się), jest spójny w czasie (szafka ma ta samą wysokość dziś i jutro) i sytuacji (ta sama szafka ma taka samą wysokość w pokoju i na dworze). Pomiar jest rzetelny, gdy badanie dwa razy tym samym testem daje ten sam wynik (spójność w czasie) i/lub pomiar innym sposobem daje ten sam wynik (zgodność wewnętrzna), oraz ocena poczyniona przez innego badającego daje ten sam wynik (zgodność obserwatorów). Wśród metod szacowania rzetelności w zależności od: liczby badań, liczby wersji testu, ilości osób oceniających, możemy wyróżnić różne metody. Kiedy mamy jeden test możemy obliczyć rzetelność dzieląc test na połowę (obliczamy rzetelność testem K-R lub wyznaczając alfa Cronbacha). Rzetelność możemy też obliczyć metodą powtarzania testu (dokonując drugiego pomiaru jednym testem). Kiedy mamy dwie wersie testu rzetelność obliczamy badając formą alternatywną (w jednym badaniu pomiar odbywa się jeden po drugim, w dwóch badaniach pomiar oddzielony jest przerwą czasową). Natomiast korzystając z wielu osób oceniających, dokonujemy pomiaru rzetelności za pomocą metody zgodności sędziów kompetentnych. Dokonując wyboru metody szacowania rzetelności, dokonujemy wyboru źródła błędu pomiaru (np. w metodzie połówkowej błąd związany jest z heterogenicznością testu).
Tworząc pozycje testowe warto zwrócić uwagę na różne czynniki mogące przyczynić się do ich zniekształcenia. Jedną z pomijanych zmiennych poza-treściowych wpływających na otrzymywane wyniki są różne style odpowiadania na pozycje kwestionariuszowe, czyli tendencja do udzielania odpowiedzi innych niż wskazuje na to treść pozycji. Wpływ tych stylów na mierzone zmienne jest tym większy, im treść pozycji testowych jest bardziej nieustrukturalizowana i niejednoznaczna. Wśród różnych skłonności do zniekształcania odpowiedzi można wymienić:
-tendencja do podawania względnych odpowiedzi, nie podawania konkretnej odpowiedzi
-skłonność do różnej interpretacji kategorii typu „czasami”, „trochę”, nie wiem”
– skłonność do udzielania odpowiedzi dewiacyjnych, skrajnych
-tendencja do udzielania odpowiedzi zapewniającej aprobatę społeczną.
Zmienne te kontrolujemy na etapie konstruowania pozycji testowych, jak i etapie stosowania narzędzia pomiarowego. Zrozumiałość pozycji testowych przez badanego jest znacząca dla otrzymanych wyników (zmienna zakłócająca rzetelność pomiaru). Warto obliczyć z kolei wskaźnik mglistości Ginninga dla pozycji (wg. wzoru). Im wskaźnik jest niższy, tym tekst jest bardziej zrozumiały. Przyjmuje się, że cyfra jaką otrzymujemy po obliczeniu wskaźnika oznacza lata nauki potrzebne do zrozumienia tekstu dla którego został obliczony wskaźnik.
Przykład zastosowania: zamiast powiedzieć „suponuję, iż statystycznie determinuje to eksplikacje znaczenia skorelowanych zmiennych ” można powiedzieć „strzelam w ciemno”. Wskaźnik mglistości dla tego tekstu wynosi 13,5 co oznacza że zrozumiałość tekstu jest podobna jak zrozumiałość artykułów prasowych.
Pytanie o rzetelność pozycji testowych w kwestionariuszach badań marketingowych jest nie tylko pytaniem o metodologię prowadzenia badań, ale również pytaniem o jakość, wartość i użyteczność badania. Inną kwestię stanowi trafność wewnętrzna kwestionariusza tzn. czy opracowane przez nas narzędzie w rzeczywistości mierzy badane przez nas zjawisko, inaczej czy pozycje testowe w kwestionariuszu reprezentują przedmiot badania, ale to omówimy przy kolejnej okazji