Spostamento server

[Sergio]

Ce ne sono diversi di forum in giro, quello che temo sono due cose, che faccio fatica a prevedere a priori.

1) L'impatto sul server di 10 milioni (si) di post e migliaia di visitatori al giorno, se poi peggiora? (E se poi te ne penti CIti.)

2) L'impatto sul SEO se non vengono replicati esattamente gli URL.

[centos]

Ok, il server è stabile, ma nonostante il sistema di cache fa un po' fatica. Vedremo di approfondire un po' l'analisi quando possibile, la cosa che mi turba sono sempre i migliaia di "ospiti", ma credo siano i motori di ricerca o i link degli stessi.

Le rep purtroppo facevano parte di un vecchio mod che non esiste più nel Vbulletin 6, oggi come oggi c'è un solo forum che produce mods per vbulletin e fanno proprio poco, non è un software molto produttivo dal punto di vista commerciale.

ma grazie a Dio direi, io toglierei anche i like e faccine varie

[Sergio]

Però alla fine il sistema delle rep era piuttosto ben bilanciato, gli immondi avevano una marea di srep ed erano spesso rossi

[Sergio]

Ok, sto dando un occhiata agli IP che visitano il forum, molti sono motori di ricerca, altri potrebbero essere leechers.

root@srv1011552:~# awk '{print $1}' /var/log/apache2/vbulletin_ssl_access.log | sort | uniq -c | sort -nr | head -20

  27958 216.73.216.132

  25500 144.76.19.146

  19454 65.21.161.160

  13233 20.171.207.132

   5271 66.249.66.196

   3389 57.141.0.64

   3387 57.141.0.29

   3381 57.141.0.63

   3355 57.141.0.61

   3330 57.141.0.1

   3298 57.141.0.60

   3291 57.141.0.49

   3257 57.141.0.59

   3231 57.141.0.14

   3210 57.141.0.9

   3205 57.141.0.21

   3196 57.141.0.40

   3167 57.141.0.43

   3165 57.141.0.69

   3165 57.141.0.67

root@srv1011552:~# awk -F\" '{print $6}' /var/log/apache2/vbulletin_ssl_access.log | sort | uniq -c | sort -nr | head -20

 233027 meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

 116939 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36

  28808 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

  25516 Mozilla/5.0 (compatible; BLEXBot/1.0; +https://help.seranking.com/en/blex-crawler)

  22430 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36

  19461 Mozilla/5.0 (compatible; AwarioBot/1.0; +https://awario.com/bots.html)

  14003 facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

  13906 Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

  13234 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

  11830 Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)

   6506 Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Mobile Safari/537.36

   4163 -

   4016 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/139.0.7258.127 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

   3991 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.7339.127 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

   3651 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36

   3401 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36

   2770 Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

   2548 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36

   2379 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36

   2355 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36

root@srv1011552:~# awk '{print $7}' /var/log/apache2/vbulletin_ssl_access.log | sort | uniq -c | sort -nr | head -20

  21059 /ajax/loaddata

  14545 /robots.txt

   7036 /ajax/api/node/incrementNodeview

   6178 /js/footer-rollup-606.js

   6128 /js/header-rollup-606.js

   6107 /core/packages/googlelogin/js/auth.js?v=606

   6099 /js/jquery/jquery-3.7.1.min.js

   6088 /js/login.js?v=606

   6087 /js/facebook.js?v=606

   6079 /js/privacy-consent-banner.js?v=606

   5928 /js/conversation-rollup-606.js

   4143 408

   1532 /css.php?styleid=83&td=ltr&sheet=css_imgareaselect-animated.css,css_jquery-ui-1_13_2_custom.css,css_jquery_qtip.css,css_jquery_selectBox.css,css_jquery_autogrow.css,css_global.css,css_fonts.css,css_b_link.css,css_b_layout.css,css_b_grid.css,css_b_button.css,css_b_button_group.css,css_b_icon.css,css_b_icon_fa.css,css_b_tabbed_pane.css,css_b_form_control.css,css_b_form_input.css,css_b_form_select.css,css_b_form_textarea.css,css_b_media.css,css_b_divider.css,css_b_avatar.css,css_b_namecard.css,css_b_ajax_loading_indicator.css,css_responsive.css,css_b_vbscroller.css,css_b_theme_selector.css,css_b_top_background.css,css_b_module.css,css_b_comp_menu_horizontal.css,css_b_comp_menu_dropdown.css,css_b_comp_menu_vert.css,css_b_top_menu.css&ts=1752534547

   1527 /css.php?styleid=83&td=ltr&sheet=css_reset.css,css_unreset.css,css_utilities.css&ts=1752534547

   1508 /css.php?styleid=83&td=ltr&sheet=css_reactions.css&ts=1752534547

   1506 /css.php?styleid=83&td=ltr&sheet=css_additional.css&ts=1752534547

   1503 /css.php?styleid=83&td=ltr&sheet=googlelogin_style.css&ts=1752534547

   1503 /css.php?styleid=83&td=ltr&sheet=css_login.css&ts=1752534547

   1502 /css.php?styleid=83&td=ltr&sheet=css_b_modal_banner.css&ts=1752534547

   1318 /css.php?styleid=83&td=ltr&sheet=css_b_post.css,css_b_post_control.css,css_b_post_attachments.css,css_b_post_notice.css,css_b_post_sm.css,css_b_comments.css,css_b_comment.css,css_b_comment_entry.css,css_b_userinfo.css,css_b_bbcode.css,css_b_bbcode_user.css,css_b_event.css,css_b_link_thumbnail_list.css,css_b_thumbnail_nav.css&ts=1752534547

root@srv1011552:~#

[Sergio]

Poi ho installato un filtro per quelli che fanno troppe richieste dallo stesso IP alla stessa pagina. Vediamo se riusciamo a ripulire un po' quelli che non sono i motori di ricerca, ma sono capuffati da tali.

root@srv1011552:/etc/fail2ban# fail2ban-client status vbulletin-badbots
Status for the jail: vbulletin-badbots
|- Filter
|  |- Currently failed: 9
|  |- Total failed:     214
|  `- File list:        /var/log/apache2/vbulletin_ssl_access.log
`- Actions
   |- Currently banned: 0
   |- Total banned:     0
   `- Banned IP list:
root@srv1011552:/etc/fail2ban#

[M K K]

Ma le ai accedono al forum per apprendere ?

[Sergio]

Ma le ai accedono al forum per apprendere ?

Purtroppo, vedo Claude
In realtà spero lo faccia per il SEO, per dare risultati di ricerca non fine all'addestramento altrimenti inizia a dare dell'immondo alla gente a caso.

[Steel77]

Pensa che bello se uno che fa all' IA una domanda stupida si sente rispondere sei un mongolooo delle umane genti

[zuse]

Pensa che bello se uno che fa all' IA una domanda stupida si sente rispondere sei un mongolooo delle umane genti

io e ponno è dalla prima release di chatgpt che vogliamo una AI allenata solo con i post della trash e geopolitica.

ma verrebbe fuori un mostro indomabile. un frankestain moderno

[Sergio]

Sogno di farlo da un pezzo, basta fare :

- Prendi un LLm qualsiasi.
- Fai lo scraping dei primi 10 anni di forum.
- Usi lo scraping per creare una knowledge base.
- Dici all'LLM di usare usare la knowledgebase ed a turno il dataset/frasi dell'utente X, Y e Z ed in particolare le frasi.

Un giorno ricostruiremo anche gli utenti, poi li diamo in uso ad una piattaforma come puppetter o simili che postano sul forum, un ritorno virtuale di tutti, Bert incluso

[M K K]

Potremmo renderci tutti immortali consegnando al futuro i nostri account / identità artificiali che posteranno nei secoli avvenire ( gia l'ha fatto uno 2000 anni fa), mettiamo server e quant'altro in qualche bunker nell' antartico con batteria atomica

[Virulogo.88]

il Lapbot si riesce a ricreare dopo 0.03 secondi

[Steel77]

Ci vuole però un lapbot capace di sputare. Altrimenti non sarà mai come laplace

[Sergio]

Poi ho installato un filtro per quelli che fanno troppe richieste dallo stesso IP alla stessa pagina. Vediamo se riusciamo a ripulire un po' quelli che non sono i motori di ricerca, ma sono capuffati da tali.

root@srv1011552:/etc/fail2ban# fail2ban-client status vbulletin-badbots
Status for the jail: vbulletin-badbots
|- Filter
| |- Currently failed: 9
| |- Total failed: 214
| `- File list: /var/log/apache2/vbulletin_ssl_access.log
`- Actions
|- Currently banned: 0
|- Total banned: 0
`- Banned IP list:
root@srv1011552:/etc/fail2ban#

Sembra che abbiamo censurato alcuni IP ed il traffico è sceso di un terzo, anche la banda che era satura ad un certo livello ora è diminuita ed ha oscillazioni più normali, mi sa che ci siamo.
Ora ci sono circa 10000 ospiti e quelli sono si motori di ricerca.

[centos]

Pensa che bello se uno che fa all' IA una domanda stupida si sente rispondere sei un mongolooo delle umane genti

e un banner immondometro che si attiva immediatamente a tutto schermo per 5 sec e urla aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa 😂