The Conference Talks

Workshop Maveryx: Enhanced test automation for Web and Desktop apps

• Ever wondered how to create reliable and truly repeatable automatic tests easily? What to watch out for?

In this case, come to this workshop which addresses some of the points about developing a test automation framework where the keywords are simplicity (of creation), efficiency (improved functional coverage), repeatability and robustness (to UI changes).

• Ever wondered how to combine faster time-to-market and quality, while cutting costs significantly?

In this workshop, you will see a technology able to let you save your time, that you will use to improve test coverage while reducing costs.

During the workshop, you will see how to write automated functional tests for Web and Desktop applications ...

1) without having to register anything (actions, etc...)

2) without having to capture GUI objects in maps (GUI Maps) or Objects' repositories

3) without having to wait for the release of the AUT (Application Under Test) to start with the automation

4) without having to write code and complex XPath expressions or whatever...

The challenge is to write automated tests just based on functional requirements, in parallel with the development of the AUT (Application Under Test), without wasting time and effort in useless activities such as creating and maintaining "records", "maps" and "repositories" those, in case of UI frequent changes, can become dangerous boomerangs.

During the workshop, we will show the fundamental aspects and benefits of the Maveryx test automation framework by concrete examples starting from the current limits of test automation. This technology is different because its capability to inspect any UI, Web and Desktop, during the execution of the tests without the need of "records", "maps" and "repositories" acting as a senior human tester would.

If you are a manager, you will see how Maveryx can help you reducing effort and costs while increasing the functional coverage.

In conclusion, you will see the Boeing Defence Australia customer case. The challenge for BDA was to find a tool that it could integrate with a large existing codebase quickly and efficiently, that would provide a robust framework for the testing of additional new features.

L’integrazione del crowdtesting nei processi di sviluppo: i nostri case studies

Integrare il crowdtesting con lo sviluppo agile dei software sta diventando una necessità per rispondere alle richieste di quelle aziende sempre più esigenti sia in termini di tempi di consegna del lavoro che di qualità dell’output.

Automazione e monitoraggio metriche di test in ambito IoT con pytest-play

Pytest-play (https://github.com/pytest-dev/pytest-play) è un tool open source per la definizione di test automatici (API, Selenium e non solo) usando dei file di configurazione testuali basati su sintassi YAML.

Scopri come testare strato per strato un'intera architettura IoT usando software open source, effettuare simulazioni, creare test data sempre freschi on demand a supporto di attività di test manuale, monitorare le metriche di test di maggiore interesse a livello sistema o utente su statsd/graphite in tempo reale (o su altre piattaforme commerciali compatibili), implementare un nuovo plugin, riusare gli stessi scenari per i tuoi test di performance grazie all'integrazione con BlazeMeter.

Agile Testing from the trenches

Lavorando su progetti e prodotti digitali si abusa sempre più spesso del termine "agile". Si riferisce ad un approccio alla gestione di un progetto che si sforza di stabilire determinati principi di collaborazione, flessibilità e trasparenza ma in tutto questo c’è il tempo per i test?...e quanto costano?

Far funzionare un team agile, inoltre, significa lavorare condividendo come valore primario il feedback continuo; ma che succede nei team quando si parla di testing? E di incident?

I tester "tradizionali" soffrono l'agilità e gli sviluppatori stessi tornano velocemente verso approcci tradizionali piuttosto che seguire il percorso agile...che fare? Risponderemo a tutto questo. Vedremo come l'Agile Manifesto (e non solo) con i suoi valori possa guidare l'approccio agile al testing sia di aziende con un IT tradizionale che di quelle che hanno adottato in pieno DevOps.
Lo faremo attraverso il racconto di vita quotidiana di una community di test manager.

How to transform “DevSecOps" into “SecDevOps” by shifting-left “Code Security”

As part of the shifting-Left “Code Security” paradigm, Software developers, Members of Agile DevOps teams are faced with the daunting task to quickly scan, test, and analyse their code for potential security vulnerabilities and identifying and correcting defects, in order to prevent propagation through the Software Development cycle or even worse, ending up in the release to the market.

The remedy is to enable Software developers, Members of Agile DevOps teams to perform Static analysis, Runtime analysis, Automated Unit Testing, adhering to key industry standards such as SEI CERT, CWE/SAN, DISA STIG, FDA, MISRA, OWASP, PCI DSS, as well as performing Automated Component, Integration and API-level testing, at an earliest stage possible.  

In this session, Parasoft and Quence will present and outline the remedial proposition for Software development teams, who want to implement the “SecDevOps - Security Development Operations lifecycle”.

Test Automation and beyond powered by Artificial Intelligence

L’esigenza di accelerazione del time to market per le nuove applicazioni e servizi da parte delle aziende, comporta naturalmente un’accelerazione sul processo di test, ma con un livello di qualità uguale o maggiore.

Per rispondere a questo fenomeno, è necessario incrementare l’automazione e la resilienza del test. Micro Focus vi racconterà come costruire il futuro del test automation, adottando l’artificial intelligence e il machine learning, per incrementare i vantaggi del test automation, ridurre i costi di manutenzione e assicurare una user experience cross-platform, device o network.

Approccio alla misurazione dei processi di testing

Molte organizzazioni rischiano di investire sulle attività di Testing meno di quanto sarebbe opportuno.
In un’ottica DevOps-oriented, e non solo, il testing deve essere sempre più integrato alle fasi del ciclo di vita del software, a partire dall’Analisi, come sottolineato in molti modelli/approcci (es: RUP – Rational Unified Process). Un primo passo per questa integrazione potrebbe essere la misurazione della maturità dei processi con modelli di maturità quali il TMMi.
Tuttavia molte organizzazioni rinunciano a questo approccio, ipotizzando un impatto elevato in termini di costi, e riducendo in tal modo la possibilità di migliorare le performance dei propri processi.

La presentazione intende ‘tornare alle origini’ dei modelli di maturità, presentando un approccio leggero di “testing maturity grid”, per stimolare un più semplice e veloce processo di miglioramento, misurabile e basato su step continui e graduali.
Viene ripreso l’approccio pensato inizialmente da Philip Crosby e successivamente recepito nello standard ISO 9004, norma di accompagnamento della ISO 9001.

Alten Academy, una proposta formativa ISTQB® unica in Italia. Come evolve la proposta formativa nell’ambito Testing

Nel contesto di un portafoglio formativo ISTQB^® che include:

• FOUNDATION LEVEL
• AGILE TESTER
• ADVANCED LEVEL TEST MANAGER
• ADVANCED LEVEL TEST ANALYST
• ADVANCED LEVEL TECHNICAL TEST ANALYST

L’intervento sarà focalizzato sul valore aggiunto legato:

• all’adeguamento del corso Foundation rispetto al nuovo Syllabus
• al lancio dal 2018 del nuovo corso ADVANCED LEVEL TEST AUTOMATION ENGINEER
• al lancio dal 2019H2 dei nuovi corsi PERFORMANCE TESTING e AUTOMOTIVE SOFTWARE TESTER

alle sinergie con i corsi di Requirement Engineering (IREB^®) e Business Analysis (IQBBA^®)

Zurich, approccio di test a Servizio in ambito assicurativo

L’intervento andrà a descrivere gli aspetti di valore implementati in Zurich al fine di migliorare efficacia ed efficienza dell’approccio alle attività di test ed i risultati raggiunti.

Nel contesto di un’organizzazione complessa con rilasci software pianificati rispetto ad un calendario di release annuali:

• Introduzione di un approccio a Servizio “Fixed Price” scalabile
• Responsabilizzazione della funzione di Test Factory indipendente rispetto:
  • Alla definizione di una strategia di test di release basata sull’analisi del rischio.
  • Alla combinazione di una strategia di Test Funzionale e Non Regression Test che ha portato ad introdurre una quota di automazione per NRT ed un processo di gestione del portafoglio di automazione
  • All’estensione degli ambiti applicativi “In Scope”
  • Governance complessiva della qualità di prodotto

Esperienze di sviluppo e V&V in un progetto di Machine learning

Le tematiche dell'esperienza presentata riguardano aspetti di "Requirements Engineering" e di "Testing per Machine Learning". Il progetto, di recente sviluppo e sottoposto ad accordo di riservatezza, ha per titolo "Machine learning based Visual feature selection in Multi Modal sensing" e riguarda lo sviluppo di un sistema software embedded per l'elaborazione di immagini complesse in ambito industriale.
Il progetto, date le caratteristiche "data intensive" e di complessità, si è sviluppato su metodologie e strumenti in ambito "apprendimento automatico" per la gestione di sensori multispettro e/o polarizzati. Prendendo spunto dalla comparsa sul mercato negli ultimi sei mesi di sensori di visione multimodali integrati (ovvero che rendono disponibili contemporaneamente più immagini, o livelli, con contenuti informativi diversi) si è proceduto alla sintesi di "feature" per la valutazione delle informazioni dai sensori in campo (nel nostro caso di indagine di possibili applicazioni aerosol e spray per l'industria).
L'aspetto del progetto che qui si intende condividere riguarda le implicazioni di Verifica e di Validazione (V&V) del processo di costituzione della pipe elaborativa: dalla impostazione degli esperimenti per la raccolta dei dati (DoE) alla sintesi dei descrittori di texture e del modello statistico (ensemble methods e training), fino al test del modello stesso. In particolare:

 qualità del modello statistico dei dati e problematiche di verifica

 accessibilità ed interpretabilità dei dati

 validazione delle previsioni

e, specificatamente in ambito Istqb:

 Tecniche "black gray white box"

 ISO 25010 caratteristiche di qualità per i sistemi "Machine Learning"

 Transparency, "Understandability"

L’integrazione del Crowdtesting nello sviluppo agile del software. Il caso Sisal

La metodologia Agile sta sempre più dominando il panorama dello sviluppo del software. La best practice in questi casi prevede l’integrazione del Crowdtesting con i processi di software development e permette di creare applicazioni di elevata qualità e che evolvano nella direzione richiesta dal mercato.

Case Study: l’evoluzione nell’adozione dell’Application Security Testing

Le applicazioni - siano esse interne che esposte su internet - costituiscono un nodo cruciale per la sicurezza: secondo Gartner più dell’80% degli attacchi informatici che hanno successo avvengono al livello applicativo. I motivi che causano il rilascio di applicazioni non sicure sono diversi: la mancanza di budget dedicato ai test, la modalità di esecuzione degli stessi, ma soprattutto la poca cultura di sicurezza e di know-how specifico all’interno del team di sviluppo.

Il nostro cliente ha seguito un percorso di adozione dell’Application Security Testing passando da un approccio basato sul modello “Security Gate”, dove i test di sicurezza venivano effettuati al rilascio in collaudo, ad un approccio basato sull’integrazione nel ciclo di sviluppo del software. Nel modello adottato prima del nostro intervento, i test erano svolti dalla funzione Sicurezza che inviava i report generati dal tool di security testing senza interpretazioni o analisi, non conoscendo i linguaggi di programmazione usati dal team di sviluppo. D’altra parte, il team di sviluppo, non avendo know how sulle problematiche di sicurezza, non era in grado di interpretare i risultati del report ed effettuare le fix necessarie, se non con un significativo dispendio di tempo ed energie. Tipicamente questa modalità causava ritardi nel rilascio in produzione con importanti conseguenze per il business dell’azienda.

Il nostro intervento, suddiviso in fasi, ha impattato i processi, l’organizzazione e la piattaforma di testing. Per quanto riguarda quest’ultima, è stata implementata una soluzione rivolta agli sviluppatori che consente loro di effettuare la scansione del codice mentre programmano e di avere una chiara e immediata descrizione della vulnerabilità rilevata e l’indicazione della fix da applicare; la piattaforma permette anche di interagire tramite chat con degli esperti di sicurezza e di seguire un mini-corso sulla vulnerabilità.

Sono stati ottenuti benefici sia in termini di drastica diminuzione del numero di vulnerabilità riscontrate dal team di sicurezza, in termini di riduzione sia dei ritardi nei rilasci sia nel costo di implementazione delle fix. Ma, probabilmente, il risultato più importante è stata la creazione di consapevolezza e di cultura di sicurezza all’interno del team di sviluppo.

Full Stack Testing con Robot Framework

CHILI ha sviluppato il primo e unico Entertainment Centred Marketplace, ovvero un’unica esperienza in grado di offrire: streaming di contenuti digitali, programmazione dei film al cinema, acquisto di biglietti per il cinema, merchandise, DVD e Blu-ray.

La piattaforma di CHILI è composta da oltre 50 microservizi, 5 tipologie diverse di DataBase e 6 diversi client disponibili per gli utenti. Vi racconteremo perché abbiamo scelto una soluzione Open Source come Robot Framework e quali strategie abbiamo adottato per effettuare test a tutti i livelli della nostra piattaforma.

Durante la presentazione vi mostreremo casi concreti di test di microservizi con API rest e messaggi Apache Kafka, verifiche su MongoDB Redis e altri DB. Per quanto riguarda i client vedremo il test di una single page application sviluppata in React oltre che i test della nostra app Android nativa.

“AGILE 3”: un approccio custom alla metodologia AGILE per reti di organizzazioni complesse

La presentazione esplora una metodologia agile custom finalizzata al testing di servizi multimedia, in particolare TIMVISION, la TV on demand di TIM. E' un servizio con alta frequenza di rilasci, stretti TimeToMarket, complessità/numerosità dei devices e dei sistemi coinvolti e qualità valutata direttamente dai clienti finali.

E’ il contesto tipico degli OTT, in aggiunta alle problematiche degli operatori.

Per testare TIMVISION con il vincolo principale del TTM il modello preso come riferimento base non poteva essere che l’AGILE. La difficoltà principale nell’applicazione a TIMVISION è legata allo scenario di offerta-sviluppo-testing dislocato in aziende/strutture/luoghi separati il che rende impossibile applicarne i princìpi in toto. Abbiamo, così, adottato una metodologia custom, la AGILE 3, descritta nella presentazione. 3 come le fasi di testing all'interno dello sprint e come i principi cardine applicati: automazione del testing, vicinanza al cliente e flessibilità del lavoro.  

L’evoluzione dei framework di test automation: dalle technicalities alle logiche di business

Il tema della test automation a livello enterprise da sempre impone la necessità di dotarsi di un framework attorno agli strumenti che sia in grado di gestire le technicalities, vale a dire tutte quelle routine di supporto che permettono la creazione di test robusti e ripetibili: funzioni in grado di sincronizzare il test automatico con i tempi di risposta dell’applicazione, di gestire l’esecuzione su piattaforme o configurazioni diverse (browsers e devices in primis), di impostare precondizioni o riportare il sistema sotto test ad uno stato noto per proseguire l’esecuzione.

Ma cosa succede se proviamo a cambiare il punto di vista, dalle technicalities alle logiche di business?

Nel corso dell’intervento TXT illustrerà il percorso intrapreso per estendere il proprio framework di test automation e raggiungere un nuovo livello di orchestrazione che permette di definire i processi di business, le regole ad essi correlati e le validazioni delle regole stesse. Il risultato raggiunto è una soluzione che già copre diversi processi di business in ambito bancario, in termini di requisiti di business/normativi e dei validation point, ed è facilmente estendibile ad altri processi e/o ambiti e che consente di ridurre sensibilmente il time to market delle iniziative di test automation.

FCA Test Automation Framework

As global automotive company, it is essential to have a test automation Ecosystem able to release safe, properly working and well-designed products, and to react to a fast changing environment based on always more increasing requirements and safety rules.

The FCA Hardware/Model/Software In the Loop Test Automation framework (VST) has been designed following these paradigms:

• Agile approach, to evolve continuously to meet the customers’ need
• Keyword-based methodology, to facilitate the test design by providing a high-level abstraction layer (reusability, portability, ease)
• Standardized XIL APIs and OO programming to be independent of the simulation environment while accessing the application under test
• Global test usability, WEB+DB+desktop IDE to provide the Big/Meta Data management and analytics
• Openness to third-party tools (ALM) to guarantee the link to requirements and the test traceability

VST numbers: 500 Users; 150K tests; 1M Reports; 100 Simulation stations; 5 Countries; ALM(IBM) Integrated