1.2 Indikator proyek

2 Program pelaksanaan proyek

2.1 Program keseluruhan

Proyek ini bertujuan untuk masalah pengujian otomatis kinerja layar, mengembangkan sistem pengujian otomatisasi layar berbasis penglihatan mesin, skema keseluruhan sistem seperti yang ditunjukkan dalam Gambar 1. Masing-masing dari tiga aspek pengembangan lengan robot dan modul kontrol, modul penglihatan mesin, dan pengembangan integrasi sistem, isi utama penelitian termasuk beberapa aspek berikut:
(1) Menggabungkan desain platform perangkat keras dan sistem perangkat lunak untuk menyelesaikan desain skema keseluruhan robot gerak sudut lurus; Melalui teknologi kontrol gerakan multi-derajat kebebasan, membangun sistem kontrol servo, menyelesaikan debug perangkat lunak dan desain antarmuka operasi manusia-mesin, mencapai desain kreatif dan debug robot gerakan sudut lurus.
(2) Menggunakan teknologi pengambilan dan pengolahan gambar, melalui pengolahan seperti kalibrasi kamera, peningkatan gambar, penghapusan kebisingan, dan ekstraksi tepi, berdasarkan kerangka pengembangan aplikasi OpenCV dan QT, mendapatkan dan mentransmisikan informasi status operasi layar, mengembangkan modul pemantauan status operasi layar berdasarkan penglihatan mesin.
(3) Menggunakan desain modul fungsional dan teknologi integrasi untuk menyelesaikan komunikasi dan desain pencocokan fungsional dari sistem kontrol gerakan robot sudut lurus dan peralatan pengolahan gambar, untuk mencapai pengujian otomatis keadaan operasi monitor berdasarkan penglihatan mesin.

Gambar 1 Sistem pengujian otomatisasi layar berbasis penglihatan mesin

2.2 Program implementasi khusus

Proyek ini melakukan penelitian tentang teknologi kunci pengujian otomatisasi layar berdasarkan penglihatan mesin, layar ditempatkan di thermostat setelah, dipertahankan melalui perangkat khusus, ketika tangan robot menggantikan tangan manusia untuk mengoperasikan layar, penglihatan mesin diperlukan untuk pemantauan kondisi operasi layar dan umpan balik loop tertutup informasi, dan membangun database informasi kegagalan layar. Program implementasi khusus akan dikembangkan dari tiga aspek pengembangan lengan robot dan modul kontrol, modul penglihatan mesin, dan pengembangan integrasi sistem.

2.2.1 Pengembangan modul deteksi visual mesin

Penglihatan MesinMesin menggantikan mata manusia untuk mengukur dan menilai.Sistem Penglihatan Mesinadalah melalui produk penglihatan mesin (yaitu perangkat pengambilan gambar, kedua jenis CMOS dan CCD) untuk mengubah target pengambilan menjadi sinyal gambar, dikirimkan ke khususSistem pengolahan gambarDapatkan informasi morfologi dari target yang diambil dan mengubahnya menjadi sinyal digital berdasarkan distribusi piksel dan kecerahan, warna dan informasi lainnya; Sistem gambar melakukan berbagai perhitungan pada sinyal-sinyal ini untuk mengeluarkan karakteristik target dan kemudian mengontrol gerakan perangkat di tempat berdasarkan hasil penelitian.
(1) Pengambilan sinyal gambar kondisi operasi monitor
Pengujian visual mesin terhadap kondisi operasi layar, menggunakan deteksi CCD, prinsip pengukuran seperti yang ditunjukkan dalam Gambar 3. Menggunakan lensa untuk melakukan pencitraan ujung gambar layar ke CCD (seperti yang ditunjukkan pada Gambar 2). CCD dan sirkuit penggeraknya akan mengumpulkan sinyal output berturut-turut, kemudian melalui konversi analog, mendapatkan data melalui pengolahan komputer, melalui pengolahan gambar dan pengenalan, pencitraan ujung gambar dan kemudian umpan balik ke sistem kontrol komputer, memberikan dasar untuk analisis kondisi operasional layar.




Gambar 3 Gambar prinsip deteksi visual mesin


Gambar 4 Sistem Pengukuran Sensor Visual


(2) Pemrosesan gambar kondisi operasi monitor
Gambar yang diperoleh dengan CCD memerlukan pengolahan dan pengenalan gambar untuk mendapatkan gambar kondisi operasi layar yang akurat dan jelas. Pertama-tama melalui CCD dan sirkuit penggeraknya untuk mengubah model gambar titik menjadi sinyal listrik, kemudian melalui proses, meningkatkan gambar, pengolahan skala abu-abu, penghapusan kebisingan, pembagian ambang batas, ekstraksi tepi gambar, dan pengolahan lainnya, sehingga meningkatkan akurasi dan akurasi deteksi, dan akhirnya akan mengklasifikasikan gambar yang diambil, membangun database deteksi kegagalan layar. Kalibrasi kamera dan pengolahan binarisasi gambar ditunjukkan dalam Gambar 5 dan Gambar 6.



Gambar 5 Pengaturan Kamera
Gambar 6 Pengolahan Dualisasi Gambar

2.2.2 Pengembangan modul kontrol robot pergerakan koordinat sudut lurus

Menggunakan tangan robot sebagai ganti tangan manusia untuk pengujian otomatis layar, memerlukan kontrol gerakan robot dan kontrol sistem servo visual untuk gerakan koordinat sudut lurus secara bersamaan, operator mengirim instruksi operasi ke sistem kontrol melalui antarmuka interaksi manusia-mesin, kartu kontrol gerakan menggunakan mode torsi, dan mengubah informasi jumlah digital menjadi output pulsa, mengontrol gerakan koordinat sudut lurus dengan robot untuk menyelesaikan gerakan dan melakukan operasi yang sesuai. Sistem pengujian encoder dan sensor menyelesaikan pengujian posisi dan momentum, dan melakukan transmisi sinyal dan pertukaran data antara sistem kontrol dan sistem pengujian, menyelesaikan desain pengembangan modul sistem kontrol dan sistem robot, menjamin akurasi gerakan dan efisiensi pengujian layar.

Gambar 7 Skema kontrol gerakan robot untuk gerakan koordinat sudut lurus
Analisis perbandingan antara sistem kontrol gerakan yang dirancang dengan mesin yang berkoordinat sudut lurus dan mesin penggabungan multi-sumbu tradisional, seperti yang ditunjukkan dalam Gambar 7. Modul kontrol tangan robot untuk gerakan koordinat sudut lurus terutama digunakan untuk mengontrol tangan robot untuk menguji layar, mendeteksi sistem untuk menyelesaikan deteksi posisi dan momentum dan pertukaran data antara sistem yang berbeda.
1) Kontrol sistem gerak
Mengontrol tangan robot untuk melakukan gerakan tiga derajat kebebasan dan menguji layar sebagai ganti tangan manusia. Berdasarkan informasi lokasi dan momentum yang dideteksi oleh sistem deteksi, sistem kontrol mengendalikan gerakan robot di arah tiga derajat kebebasan ruang dan menggantikan tangan manusia untuk menyelesaikan sentuhan layar, klik dan sebagainya.

Gambar 8 Diagram Integrasi Sistem Driver
(2) Kontrol sistem pengujian
Sistem pengujian digunakan untuk menguji posisi gerakan tangan robot dan momen. Kontrol sistem deteksi mencakup deteksi posisi gerakan robot sudut tegak tiga derajat kebebasan, deteksi ukuran momentum pada tampilan kontak ujung aktuator, dan parameter gerakan seperti kecepatan gerakan, jarak dan sebagainya.
3) Pertukaran data
Sistem deteksi terdiri dari komponen seperti sensor dan encoder di ujung badan eksekutif, mengirimkan sinyal analog yang diukur oleh sensor ke modul kontrol, modul kontrol akan memberikan sinyal umpan balik melalui hubungan konversi tertentu untuk mengendalikan gerakan tangan robot.
4) Interaksi manusia-mesin
Kontrol gerakan tangan robot melalui antarmuka interaksi manusia-komputer, menulis perangkat lunak sistem gerakan otomatis, dan operator memilih menu yang sesuai untuk mendapatkan data yang diinginkan atau mencapai fungsi yang diinginkan untuk mencapai interaksi manusia-komputer. Sistem perangkat lunak ini dapat mencapai fungsi seperti kontrol gerak yang menampilkan beberapa derajat kebebasan robot, pergeseran mode posisi dan momentum, umpan balik loop tertutup sinyal posisi dan momentum, dan penyimpanan informasi kegagalan tampilan. Pengembangan data perangkat lunak didasarkan pada sistem operasi Windows 7, lingkungan bahasa pengembangan memilih C ++, database memilih database Oracle. Antarmuka interaksi manusia-komputer yang dikendalikan motor ditunjukkan pada Gambar 8.

Gambar 8 Kontrol motor antarmuka interaksi manusia-komputer

2.2.3 Pengembangan Integrasi Sistem Pengujian Otomatis

Sistem pengujian otomatisasi layar berbasis penglihatan mesin memainkan peran membutuhkan koordinasi dan kerja sama dari berbagai unit fungsional untuk menyelesaikan pengujian otomatisasi layar bersama. Penelitian memungkinkan pembawa terintegrasi fungsi masing-masing unit sistem pengujian otomatis, merancang badan pelaksanaan gerak yang beroperasi secara efektif, mencapai integrasi pengujian kondisi operasi tampilan, penggantian tangan robot untuk mengoperasikan tampilan dan kontrol lainnya, memastikan operasi yang efisien dan terkoordinasi proses pengujian otomatis. Seluruh sistem pengujian otomatisasi terdiri dari tiga modul utama: modul penglihatan mesin, modul kontrol otomatisasi lengan robot, dan integrasi modul deteksi, skema integrasi keseluruhan dan skema komunikasi antar modul seperti yang ditunjukkan dalam Gambar 9 dan Gambar 10.

Gambar 9 Integrasi sistem pengujian otomatisasi layar berbasis penglihatan mesin
Seluruh sistem pengujian otomatis berkomunikasi menggunakan bus lapangan. Menggunakan perangkat lunak kontrol berbasis platform PC dan sistem operasi Windows, membangun sistem real-time dengan fungsi NC di dalam mesin kontrol industri, melalui operasi logika PLC, dan menggunakan perangkat keras yang dikonfigurasi standar PC untuk mencapai fungsi operasi logika (TwinCAT PLC), fungsi kontrol gerakan (TwinCAT NC), operasi titik terapung, dan penyimpanan dan pemrosesan sejumlah besar data. Program PLC pertama mengirim sinyal ke sumbu NC, NC melalui perencanaan lintasan, penghitungan PID dan pengolahan antarmuka IO keluar ke drive untuk mencapai kontrol motor, sementara keadaan motor secara tepat waktu umpan balik ke program PLC melalui NC. Di seluruh sistem CNC, masing-masing modul perangkat lunak (seperti program PLC, NC, aplikasi Windows, dll.) bekerja dengan modus yang mirip dengan perangkat keras dan dapat bekerja secara mandiri. Pertukaran informasi antara masing-masing modul perangkat lunak dilakukan melalui pengontrol gerak ADS, dan arsitektur terintegrasi komunikasi seluruh modul sistem kontrol ditunjukkan pada Gambar 10.

Gambar 10 Solusi Komunikasi Modul Sistem Pengujian Otomatis