Setup virtualnih mašina za paralelni rad bot-a

Koliko često je potrebno "klikati i tipkati" u svakoj virtualci?

Teoretski možeš na svaki PC dići nekakvu virtualnu okolinu s više virtualki, ali nisam još vidio slučaj da se koriste u svrhu čestog korištenja browsera na ovakav način.

Ako trebaš istu tipkovnicu i miš na više virtualki istovremeno, imaš problem.

Pa ako više virtualki ne mogu koristiti nezavisno miša tipkovnicu, mogao bih čak sinkronizirati rad da se čekaju... no problem na koji sam naišao je da uopće ne znam kako kontrolirati miša / tipkovnicu samo unutar jedne virtualne mašine.

Program inače kontrolira miša/tipkovnicu sa pythonom sa pyautogui ... no pyautogui odbija raditi na virtualnoj mašini. (Vidim da i drugi imaju taj problem, a riješenja nigdje)

Ne nalazim uopće nikakvu alternativu sa čime bi mogao kontrolirati miša/tipkovnicu na virutalnoj mašini ... a moralo bi biti nešto, hmm???

P.S. očekivao sam od virtualke da to malo preciznije simulira nezavisan rad nekog operativnog sustava, no čini se da nije tako. 

Sada već lagano razmišljam u smjeru kako bi mogao fizički podići najefikasnije više nezavisnih računala, pa ako netko ima prijedlog za tu varijantu, rado ću poslušati. S time da windows više nije must have kao operativni sustav, nego nekakv Linux da je što laganiji, tipa Debian.

Bili se mogao podići Debian na raspberry pi i upogoniti da radi tu svrhu browsanja? 

Pa s obzirom da je software već gotov i da uredno radi na jednom računalu, daj ideju kako to skalirati da se procedura može duplirati?

Preduvjeti su:

- da software izvršava svoju ulogu upravljanjem miša i tipkovnice 

- da je potrebno kontrolirati za svaki software preko kojeg IP-a će pristupati internetu (VPN)

 tj fizičko i virtualno računalo su 'jednaki'

Očito nisu jednaki kada mi pyautogui radi na mom fizičkom računalu, tj. na mom host operativnom sustavu ...a ne radi mi na operativnom sustavu koji je pokretan na virtualnoj mašini.

Iskreno, ne razumijem uopće što želiš reći i koje riješenje nudiš.

Probaj raspberry pi , raspbian os

Pokreni nekakav remote desktop softver na 5 -10 korisnika

na remote desktop bi trebao moći slati pritiske tipke i pokrete mousem.

kojima onda upravljaš s firefox-om. 

Ako ti ne treba remote desktop nego samo firefox, mislim da firefox ima instrumentaciju, nešto kao DevTools na Chrome-u.

Pa pokreneš 5-10 firefoxa instrumentacija u konzoli koje slušaju na nekom portu naredbe.

Moći češ možda i više od 10 firefoxa pokrenut iz konzole, svaki sa svojim profilom.

a ako želiš još više onda dodaj još rasperry pi-eva.

Tehnički bi morao moći postojati način da se napravi kontrola nad mišem/tipkovnicom u VMu, jer inače nebi bilo moguće postići remote desktop spajanja na VM.  ... pošto u tom slučaju VM mora imati nekakvog svog agenta koji upravlja mišem/tipkovnicom onako kako stižu instrukcije sa udaljenog clenta.

Definitivno je ovdje pyautogui taj koji se zbreca ... ja bi mogao postići željenu funkcionalnost kada bi upravljao mišem/tipkovnicom samo na host razini, pa od tamo da klikam po prozorima virtualki i radim što mi je potrebno, ali kada pokrenem skriptu na host razini koja upravlja mišem, i čim taj navođeni miš klikne na ikonu VMware playera u taskbaru (čime se otvara VMware prozor virutalke, ne nužno maksimiziran) ...dalje nakon toga cklika pyautogui više ne želi upravljati mišem niti na host razini. Tu se nešto pošeremeti.

Moglo se to riješiti, da se išlo za time.

Virtualna Mašina nije smjela mapirati miša direktno sa usb porta, nego ga identificirati kao presliku onoga što nastaje kada miš prelazi preko prozora VM-a. 

Prvotno sam mislio da to tako i rade, jer miš koji se pojavi nad prozorom VM-a ima drugačiji malo style (oblik). Mislio sam da time žele baš naglasiti da je to miš koji postoji nezavisno u virtualki.

Na taj način, ako bi miš u virtualki ostao na koordinatama cca (500,500) u momentu kada se odjednom svi prozori minimiziraju, virtualka bi dalje imala izvor da je miš na (500,500) dok bi miš na host razini mogao raditi što god želi.

Isto tako, kada bi virtualka programski upravljala takvim mišom, to nebi afektalo miš na host razini.

Tako bi se postiglo da svaka virtualka ima nezavisno svoj miš, a opet da user koji svemu pristupa preko grafičkog sučelja ... da mu je sasvim prirodno da upravlja samo "jednim" mišem.

Isto vrijedi i za tipkovnicu.

Znam da ovo dodaje iznimku na virtualku sa ciljem ovakvog ponašanja, ali to bi otprilike mogao biti dodatak kao što sam instalirao neki package da mi CTRL+C sprema kopirano na clipboard koji se onda prenosi sa virtualke na host mašinu i obratno.

To mi je jasno, ali zna sistem koji omogućava virtualizaciju ...u ovom slučaju VMware.

Sam po sebi, operativni sistem na VM ne zna da postoji host, pa ne može znati niti što se nalazi na clipboardu nakon što napravimo COPY na host mašini (vrijedi i obratno) ...ali eto uz paket spice-vdagent VM odjednom zna što se nalazi na clipboardu nakon COPY operacije na host razini.

Ovom konkretnom useru (prvi komentar)  ... je proradio i pyautogui nakon instalacije tog paketa spice-vdagent , meni nije ..ali mi je povezana COPY operacija nakon toga.

Hoćem reći, OS unutar VM-a ne zna da je virtualka, ali VMware zna da je operativni sustav virtualka i može iznimkama posredovati da omogući stvari kao što su:

- djeljeni folder

- COPY koji se prenosi izvan određenog OS-a

... pa tako bi se na toj razini moglo ishendlati i da se miš tretira na način da se postigne nezavisan miš unutar određenog VM sistema. To nikako nebi smjelo biti neizvedivo.

A ja trenutno tražim bilo koji način da upravljam mišom unutar virtualke, jer to bi još više trebalo biti izvedivo i u ovoj varijanti ako je samo jedan miš koji je doduše zavisan između sustava. Iskreno ne razumijem koja je tu problematika ...pa neka svaki OS gura taj isti jedan miš. 

Pa ionako kada u normalnom radu (samo host mašina) sa pyautogui upravljam mišem ... i ako istovremeno ručno manipuliram mišem...dobit će se zbir kretanja ... a neće pyautogui stati raditi zato jer ja ručno pomaknem miša.

Tako sam i ovdje očekivao u najmanju ruku da će doći do zbira kretanja ako više različitih strana pokuša upogoniti miša ...a to da pyautogui uopće ne radi na VM-u, to znači da se netko negdje "pogubi" dok imamo više nekakvih "kanala" koji pristupaju mišu.

Konkretno taj koji se pogubi se očituje ovom greškom koju mi baca skripta kada pokušam importati pyautogui na skripti koju pokrećem u defaultnom enviromentu:

Xlib.error.DisplayConnectionError: Can't connect to display ":0": b'Authorization required, but no authorization protocol specified

Dok, ako kreiram python enviroment, unutar kojega instaliram pyautogui:

python3 -m venv myenv      //kreiranje enveriomenta
source myenv/bin/activate  //aktiviranje
pip3 install pyautogui     //instalacija koja u tom slučaju radi 

Tada mi ne baca nikakvu grešku, ali pyautogui naredbe jednostavno ne rade.

Ja iskreno nisam upućen što se u strukturi mijenja kada pokrećem skriptu untar svog kreiranog enverimenta i bez toga ... 

 -os zna (ako želi znati).. no to nema veze s problemom. (dok clipboard vidi nakon installa extenzija za vbox ili ovisno o osu, integrirano-podržano.. + naravno omogućeno u vm-u).

-npr skripte, neovisno o računalu-vm-u, defaultno su blokirane, nemaju dozvolu.. sigurnosni fičer + potpisivanje skripti za npr PS .. dok će iste naredbe u cmd ili ps-u raditi jer nije skripta + naravno admin pristup...

-može biti više miševa, bilo kojih uređaja i mogu se ne koristiti na hostu, prosljediti guestu, obično za npr usb-key-zaštitu ili poneki uređaj kao printer, može i vga za gaming-computing tj ovisi koji vm i verzija jer je ms u hyperv to onemogućio mada se i dalje kemijanjem može.. no ne jednostavno kao u wserv2016..

-no time nisi ništa bitnog riješio, tj da spojiš recimo 5 miševa, da ih prosljediš pojedinom vm-u, i dalje bi imao isti problem tj boot-soft-skripta bi nekako morala znati koji uređaj koristiti, samo bi premjestio mjesto problema koji bi ostao 'isti'.. dok se s mišem-tipkovnicom to ne petlja tj to su izuzetci-razlika od ostalih 'ravnopravnih' uređaja kao printer-skener-ostalo.. jer su nužni za rad u bilo čemu, kontrolu-pokretanje.. pa se ne nude kao opcija nego automatizam-direktno kao shareanje + kontrolna tipka kojom se prebacuje fokus rada na guest-hostu.. bez čeg ne bi mogao izaći iz vma kad jednom uđeš osim npr gašenjem..

-copy, shareani filder.. onak, kemijaš nešto a nejasno je što.. ako je nešto na shareu, tad baš nikakvog problema nemaš mrežno.. jer to je mreža, mrežni share.. tj želiš što, da copy izgleda kao napravljen s nekog računala u logovima? .. svrha?

-istovremeno, mrežno, možeš to sve bez kemijanja, neovisno o vm-u ili 'problemu' s mišem.. (koji mi stvarno nije jasan..).. imaš npr powershell ili starija altenrativa rusinovićev pshell.. imaš mrežu, ništa drugo nije potrebno uz naravno admin prava i ostale mrežne postavke pristupa.. copy filea ili bilo što nije probelm.. dok miš s tim nema skoro nikakve veze tj miš, tipkovnica ili bilo koji drugi ulazni-kontrolni uređaj, npr glasovno-mic ili touch-ekran su samo ulazne kontrolne jedinice dok isto to može i banalna skripta tj time samo zadaješ task-naredbu pri čemu je nevažno jesi li copy naredbu kliknuo mišem iz menija ili tipkovnicom ili skriptom ili cmd-om.. po tom kriteriju su sve ulazne jedninice ravnopravne, osim kad se nešto iz nekog razloga namjerno onemogući kao sigurnost ili logovi kad se želi nešto fejkati .. bot koji nešto radi u browseru, klasični wanabee hakerski snovi a to nema veze s browserom, mišem, osom.. radi jednako na svemu oduvijek...

Ima tu dosta upitnika, zato sam odmah napisao da mi se čini kako su tipkovnica i miš potencijalni problem.

Zahtjev može biti neizvediv, nije to ništa posebno čudno. Kao što ni Pyautogui možda nije jedino sw rješenje za to.

Ista stvar je i s "radi na VMwareu". Prvo je pitanje kojem - workstation ili ESX, kako točno pristupa nečem što možda ne postoji (ogromna većina VMware servera nema tipkovnicu i miša na sebi), kako su ti s VMwareom točno riješili problem itd.

Problem kod virtualki jest taj da one u pravilu uopće nisu ulogirane, tj. vrte se bez logiranog korisnika, ne trebaju im browseri, tipkovnice, miševi, samo nekakav RDC i to je to.

Kako ovakva automatizacija radi - čini mi se da praktički "upravlja" cursorom i mouse pointerom, za što je potrebno imati "fizikaliju" na neki način.

Ne čudi me da je neistraženo jer prvi put čujem ovakav zahtjev u 20-ak godina rada s virtualom. Probaj s jednim Rpijem - bojim se da ćeš isto imati problem s potrebom brda tipkovnica i miševa, možda postoji neki SW koji "emulira" prisutnost istog.

Tad RDC klijent koristi miša i tipkovnicu klijenta. Ne sa servera. Onda bi trebao imati brdo RDC-ova dignuto - odnekud. A onda nemaju smisla virtualke.

Problem je jako specifičan, zato mi je jasno zašto nema tako puno opcija ili ideja.

Zadnje - možeš.

A virtualna tipkovnica i virtualni mis? Ili virtualni KVM?

Nisam siguran kako bi mi pomoglo. 

Ja trebam programski upravljati mišem/tipkovnicom ... ti virtualni alati bi onda morali imati nekakav library prema pythonu sa kojim se može njima upravljati.