Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social X
Objetivo. O estudo tem como objetivo investigar a aplicação da análise de sentimentos para diferenciar contas automatizadas (bots) e humanas na divulgação de publicações científicas sobre COVID-19 na rede social X. Para isso, a pesquisa compara a eficácia das ferramentas de Large Language Models (L...
Saved in:
| Main Authors: | , |
|---|---|
| Format: | Article |
| Language: | Spanish |
| Published: |
University Library System, University of Pittsburgh
2025-07-01
|
| Series: | Biblios |
| Subjects: | |
| Online Access: | http://biblios.pitt.edu/ojs/biblios/article/view/1297 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1850084691496927232 |
|---|---|
| author | Danielle Pompeu Noronha Pontes João de Melo Maricato |
| author_facet | Danielle Pompeu Noronha Pontes João de Melo Maricato |
| author_sort | Danielle Pompeu Noronha Pontes |
| collection | DOAJ |
| description |
Objetivo. O estudo tem como objetivo investigar a aplicação da análise de sentimentos para diferenciar contas automatizadas (bots) e humanas na divulgação de publicações científicas sobre COVID-19 na rede social X. Para isso, a pesquisa compara a eficácia das ferramentas de Large Language Models (LLMs) ChatGPT 3.5 e Gemini 1.5 Flash na análise de sentimento, através da classificação de polaridade, expressos em postagens sobre um artigo científico. O estudo busca compreender as diferenças de desempenho entre essas ferramentas, avaliar sua eficácia na tarefa de classificação de polaridades e identificar padrões de sentimentos que melhor distinguem bots de usuários humanos no contexto da disseminação científica. Método. Este estudo inicia com a coleta de uma amostra de postagens do X que fizeram menção à publicação estudada. Os posts foram coletados usando Python 3.12, a biblioteca Beautiful Soup 4.12 no ambiente Google Colab, resultando em um conjunto de 9.792 postagens e 5.601 perfis únicos. Em uma segunda etapa, esses perfis foram confrontados com um dataset previamente classificado como bot ou humano. Para aprimorar a confiabilidade da classificação, posteriormente foi realizada uma reclassificação manual de 41 contas que haviam feito mais de quatro postagens (terceira etapa), identificando 20 como bots e 21 como humanas. Essas contas geraram um total de 3.493 postagens, que foram submetidas à classificação de polaridade dos sentimentos (quarta etapa) utilizando as ferramentas ChatGPT 3.5 e Gemini 1.5 Flash. A classificação seguiu um prompt padronizado para categorizar os sentimentos como positivo, negativo ou neutro, sendo aplicada em lotes de 100 postagens devido às limitações de tokens das ferramentas. Na quinta etapa, 315 postagens analisadas foram classificadas manualmente. Resultados. A análise de 3.493 postagens sobre o artigo científico no X revelou uma predominância de sentimentos negativos (92,3%), com posts neutros (6,2%) e positivos (0,6%) sendo menos frequentes (0,9 não foram identificados). As ferramentas de inteligência artificial ChatGPT 3.5 e Gemini 1.5 Flash mostraram desempenhos semelhantes ao classificar sentimentos negativos, mas divergências surgiram em 315 postagens, com ChatGPT atingindo 85% de precisão em posts que o Gemini não conseguiu classificar. Bots apresentaram uma maior variabilidade emocional e foram mais críticos em relação à divulgação científica, enquanto as postagens humanas tenderam a ser mais neutras e consistentes, destacando diferenças relevantes para a detecção de bots. Conclusões. A análise de sentimentos realizada por ChatGPT e Gemini destaca a capacidade dessas ferramentas de classificar postagens em redes sociais relacionadas a artigos científicos, revelando padrões distintos entre bots e contas humanas. Os bots tendem a gerar conteúdos mais polarizados e predominantemente negativos, enquanto os humanos apresentam uma diversidade maior de sentimentos, com um equilíbrio entre postagens negativas, neutras e algumas positivas. Embora o ChatGPT tenha se mostrado mais eficaz em cenários com poucos dados contextuais ou metadados para avaliar corretamente a polaridade emocional de um texto, o estudo sugere que uma análise mais abrangente é necessária para refinar as ferramentas e aprofundar a compreensão das interações entre contas humanas e contas robotizadas.
|
| format | Article |
| id | doaj-art-9822709e341f4ae8aafce995c2f745e6 |
| institution | DOAJ |
| issn | 1562-4730 |
| language | Spanish |
| publishDate | 2025-07-01 |
| publisher | University Library System, University of Pittsburgh |
| record_format | Article |
| series | Biblios |
| spelling | doaj-art-9822709e341f4ae8aafce995c2f745e62025-08-20T02:43:57ZspaUniversity Library System, University of PittsburghBiblios1562-47302025-07-01esp.10.5195/biblios.2025.1297Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social XDanielle Pompeu Noronha Pontes0https://orcid.org/0000-0003-0036-6638João de Melo Maricato1https://orcid.org/0000-0001-9162-6866Universidade de Brasília Universidade de Brasília Objetivo. O estudo tem como objetivo investigar a aplicação da análise de sentimentos para diferenciar contas automatizadas (bots) e humanas na divulgação de publicações científicas sobre COVID-19 na rede social X. Para isso, a pesquisa compara a eficácia das ferramentas de Large Language Models (LLMs) ChatGPT 3.5 e Gemini 1.5 Flash na análise de sentimento, através da classificação de polaridade, expressos em postagens sobre um artigo científico. O estudo busca compreender as diferenças de desempenho entre essas ferramentas, avaliar sua eficácia na tarefa de classificação de polaridades e identificar padrões de sentimentos que melhor distinguem bots de usuários humanos no contexto da disseminação científica. Método. Este estudo inicia com a coleta de uma amostra de postagens do X que fizeram menção à publicação estudada. Os posts foram coletados usando Python 3.12, a biblioteca Beautiful Soup 4.12 no ambiente Google Colab, resultando em um conjunto de 9.792 postagens e 5.601 perfis únicos. Em uma segunda etapa, esses perfis foram confrontados com um dataset previamente classificado como bot ou humano. Para aprimorar a confiabilidade da classificação, posteriormente foi realizada uma reclassificação manual de 41 contas que haviam feito mais de quatro postagens (terceira etapa), identificando 20 como bots e 21 como humanas. Essas contas geraram um total de 3.493 postagens, que foram submetidas à classificação de polaridade dos sentimentos (quarta etapa) utilizando as ferramentas ChatGPT 3.5 e Gemini 1.5 Flash. A classificação seguiu um prompt padronizado para categorizar os sentimentos como positivo, negativo ou neutro, sendo aplicada em lotes de 100 postagens devido às limitações de tokens das ferramentas. Na quinta etapa, 315 postagens analisadas foram classificadas manualmente. Resultados. A análise de 3.493 postagens sobre o artigo científico no X revelou uma predominância de sentimentos negativos (92,3%), com posts neutros (6,2%) e positivos (0,6%) sendo menos frequentes (0,9 não foram identificados). As ferramentas de inteligência artificial ChatGPT 3.5 e Gemini 1.5 Flash mostraram desempenhos semelhantes ao classificar sentimentos negativos, mas divergências surgiram em 315 postagens, com ChatGPT atingindo 85% de precisão em posts que o Gemini não conseguiu classificar. Bots apresentaram uma maior variabilidade emocional e foram mais críticos em relação à divulgação científica, enquanto as postagens humanas tenderam a ser mais neutras e consistentes, destacando diferenças relevantes para a detecção de bots. Conclusões. A análise de sentimentos realizada por ChatGPT e Gemini destaca a capacidade dessas ferramentas de classificar postagens em redes sociais relacionadas a artigos científicos, revelando padrões distintos entre bots e contas humanas. Os bots tendem a gerar conteúdos mais polarizados e predominantemente negativos, enquanto os humanos apresentam uma diversidade maior de sentimentos, com um equilíbrio entre postagens negativas, neutras e algumas positivas. Embora o ChatGPT tenha se mostrado mais eficaz em cenários com poucos dados contextuais ou metadados para avaliar corretamente a polaridade emocional de um texto, o estudo sugere que uma análise mais abrangente é necessária para refinar as ferramentas e aprofundar a compreensão das interações entre contas humanas e contas robotizadas. http://biblios.pitt.edu/ojs/biblios/article/view/1297Análise de sentimentosChatGPTGeminiX (Twitter)Bots |
| spellingShingle | Danielle Pompeu Noronha Pontes João de Melo Maricato Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social X Biblios Análise de sentimentos ChatGPT Gemini X (Twitter) Bots |
| title | Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social X |
| title_full | Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social X |
| title_fullStr | Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social X |
| title_full_unstemmed | Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social X |
| title_short | Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social X |
| title_sort | usando analise de sentimentos para diferenciar bots e humanos na divulgacao de publicacoes cientificas sobre covid 19 na midia social x |
| topic | Análise de sentimentos ChatGPT Gemini X (Twitter) Bots |
| url | http://biblios.pitt.edu/ojs/biblios/article/view/1297 |
| work_keys_str_mv | AT daniellepompeunoronhapontes usandoanalisedesentimentosparadiferenciarbotsehumanosnadivulgacaodepublicacoescientificassobrecovid19namidiasocialx AT joaodemelomaricato usandoanalisedesentimentosparadiferenciarbotsehumanosnadivulgacaodepublicacoescientificassobrecovid19namidiasocialx |