Integriteit in kwantitatief, empirisch onderzoek: problemen en mogelijke oplossingen

TvT coverIn the social sciences, there is an important debate about how to do good empirical research and how to publish about it. As this journal, the Tijdschrift voor Taalbeheersing, also regularly publishes empirical studies, the present article aims to open the debate in the field of language and communication. After outlining the major problems associated with research integrity and developing potential solutions to these problems, we invited researchers from the field of language and communication to present their views, which are published as reactions to this paper in the current issue of this journal.

  • Hornikx, J., & Batenburg, A. (2016). Integriteit in kwantitatief, empirisch onderzoek: problemen en mogelijke oplossingen. Tijdschrift voor Taalbeheersing, 38 (2), 119-131 [link].

Integriteit in kwantitatief, empirisch onderzoek: het perspectief van taalbeheersers

TvT coverThe lead article by Hornikx and Batenburg (2016) invited researchers in language and communication to reflect on problems and possible solutions related to research integrity in conducting and reporting quantitative, empirical research. The reactions from the colleagues in the field underline the problems that were described, and present a number of solutions to these problems. In general, these solutions can be summarized under the heading of meta-analytic thinking: one study does not provide a yes-or-no answer to a given answer; it should be designed to provide more robust results (e.g., through replications, multiple message designs), and should be reported in such a way as to be replicable in the research community (e.g., transparency, registration reports).

  • Batenburg, A., & Hornikx, J. (2016). Integriteit in kwantitatief, empirisch onderzoek: het perspectief van taalbeheersers. Tijdschrift voor Taalbeheersing, 38 (2), 193-200 [link].

An experimental investigation of the role of distraction and dilution

PaglieriStudies on persuasive arguments have generally found that claims supported by high-quality evidence are better accepted than claims supported by low-quality evidence. However, an experiment by Hoeken and Hustinx (2007) demonstrated that this effect was only observed in short texts (a claim with evidence), but not in longer texts (where information unrelated to the evidence was added at the end of the text). The present experiment was conducted to examine whether this effect of text length could be explained by distraction (the additional text at the end distracts the reader) or by dilution (the additional text makes the fragment less diagnostic for claim evaluation). Participants (N = 629) read two texts with a claim supported by high-quality or low-quality (anecdotal, statistical, or expert) evidence. The text was presented in one of the three versions: (1) short, (2) long with additional information at the end, or (3) new in comparison to Hoeken and Hustinx (2007) – long with additional information at the start. The data found support for the distraction explanation. An effect of evidence quality on claim acceptance was observed in two conditions: in the short text, and in the longer text with additional information at the start. The effect of evidence quality was not found in the longer text with additional information at the end.

  • Hornikx, J. (2016). Evidence quality variations and claim acceptance: An experimental investigation of the role of distraction and dilution. Paglieri, F., Bonelli, L., & Felletti, S. (eds.), The psychology of argument: Cognitive approaches to argumentation and persuasion (pp. 211-222). London: College Publications. [paper book]

A normative framework for argument quality: Argumentation schemes with a Bayesian foundation

syntheseIn this paper, it is argued that the most fruitful approach to developing normative models of argument quality is one that combines the argumentation scheme approach with Bayesian argumentation. Three sample argumentation schemes from the literature are discussed: the argument from sign, the argument from expert opinion, and the appeal to popular opinion. Limitations of the scheme-based treatment of these argument forms are identified and it is shown how a Bayesian perspective may help to overcome these. At the same time, the contributions of the standard scheme-based approach are highlighted, and it is argued that only a combination of the insights of different traditions will yield a complete normative theory of argument quality.

  • Hahn, U., & Hornikx, J. (2016). A normative framework for argument quality: Argumentation schemes with a Bayesian foundation. Synthese, 193 (6), 1833-1873. [link]

De perceptie van afzwakkende en versterkende markeerders in isolatie en in reclamecontext

demachtvantaalReclameclaims worden soms versterkt of afgezwakt door markeerders als ‘in alle gevallen’ of ‘in de meeste gevallen’. Bestaand experimenteel onderzoek naar de overtuigingskracht van markeerders laat uiteenlopende resultaten zien. Het huidige onderzoek probeert deze bevinding te verklaren door de perceptie van versterkende en afzwakkende markeerders in isolatie en in een reclamecontext te meten. Proefpersonen (N = 230) kenden een mate van waarschijnlijkheid toe aan beide markeerders in isolatie en in een reclamecontext (ingebed in een productclaim). De markeerders lijken hun doel niet te dienen: op een 100-puntsschaal scoren afzwakkers 64 (isolatie) of 57 (reclamecontext) en versterkers 78 (isolatie) of 70 (reclamecontext). Met deze scores voor markeerders is het niet vreemd dat de overtuigingskracht van productclaims niet toeneemt wanneer markeerders worden toegevoegd. In een reclamecontext waren, zoals verwacht, de waarschijnlijkheidsinschattingen significant lager dan in isolatie.

  • Hornikx, J., & Krommenhoek, N. (2016). De perceptie van afzwakkende en versterkende markeerders in isolatie en in reclamecontext. In D. Van de Mieroop, L. Buysse, R. Coesemans, & P. Gillaerts (Red.),  De macht van de taal: Taalbeheersingsonderzoek in Nederland en Vlaanderen (pp. 77-86). Leuven: Acco. [link]

Een kritische analyse van de manipulatie van argumentkwaliteit in reclameonderzoek

demachtvantaalOver het algemeen raken mensen meer overtuigd door sterke dan door zwakke argumenten. In de empirische literatuur bestaan er echter inconsistente bevindingen voor het effect van argumentkwaliteit. In dit paper wordt onderzocht of de manipulatie van argumentkwaliteit een verklaring kan bieden voor deze tegenstrijdige bevindingen. Een analyse van dergelijke manipulaties in 32 uitgevoerde empirische onderzoeken leidt tot twee belangrijke inzichten. Ten eerste manipuleren onderzoekers voornamelijk pragmatische argumentatie, waarbij het standpunt over de wenselijkheid van de aanschaf van een product wordt ondersteund door te verwijzen naar de wenselijke gevolgen van het gebruik van dat product. Ten tweede blijkt de wijze van manipulatie sterk uiteen te lopen: bij de zwakke argumenten wordt soms naar minder wenselijke gevolgen verwezen, in andere gevallen naar neutrale gevolgen (waardoor er eigenlijk geen sprake is van een argument), en soms zelfs naar onwenselijke gevolgen (waardoor er geen sprake is van een zwak pro-argument maar van een tegenargument). Deze verschillende manieren waarop argumentkwaliteit in de 32 onderzochte studies gemanipuleerd werd, zouden een verklaring kunnen bieden voor de soms tegenstrijdige bevindingen in onderzoek naar argumentkwaliteit.

  • Weerman, A., Hoeken, H., & Hornikx, J. (2016). Een kritische analyse van de manipulatie van argumentkwaliteit in reclameonderzoek. In D. Van de Mieroop, L. Buysse, R. Coesemans, & P. Gillaerts (Red.),  De macht van de taal: Taalbeheersingsonderzoek in Nederland en Vlaanderen (pp. 309-321). Leuven: Acco. [link]

The potential effect of cultural priming on the effectiveness of cultural value adaptation

JCMS_coverIn international advertising, there has been a long-standing debate about standardization versus adaptation. A prominent empirical line of research addressing this issue has revealed that adapting advertisements to important cultural values is beneficial for persuasion and ad liking. Strikingly, this effect is absent for Western Europeans. The present study examines if Western Europeans are sensitive to cultural value adaptation in advertising if individualism-collectivism is primed prior to exposure to the ad. An experiment was conducted in which an ad with an individualist or a collectivist value appeal was presented after exposure to irrelevant primes or to primes consisting of images expressing individualism-collectivism. Results were in line with existing studies: no effect of adaptation was found, even after cultural priming. The results were interpreted through the cultural perspective of dynamic constructivism, according to which the European context may explain why Europeans are as positive about incongruent value appeals as congruent appeals. The experiment adds to the body of research indicating that value adaptation in advertising is not beneficial for marketers in the Western European region.

  • Hornikx, J., & Nijhuis, J. (2016). The potential effect of cultural priming on the effectiveness of cultural value adaptation in advertising. Journal of Cultural Marketing Strategy, 1 (2), 180-188. [link]