Diese Arbeit wird unterstützt durch die Einrichtung des Förderprogramms für wichtige wissenschaftliche Forschungsprojekte der Provinz Henan 2024 (Projektnummer: 24A520053). Diese Studie wird auch durch den Bau eines spezialisierten Erstellungs- und Integrationsmerkmals-Demonstrationskurses in der Provinz Henan unterstützt.

1. Versuchsaufbau und Ablauf
<ol><li>Laden Sie das vortrainierte VGG16-Modell. HINWEIS: Der erste Schritt besteht darin, das vortrainierte VGG16-Modell aus der Keras-Bibliothek6 zu laden.<ol><li>Um ein vortrainiertes VGG16-Modell in Python mit gängigen Deep-Learning-Bibliotheken wie PyTorch (siehe Materialtabelle) zu laden, führen Sie die folgenden allgemeinen Schritte aus:<ol><li>Brenner importieren. Importieren Sie torchvision.models als Modelle.</li>
			<li>Laden Sie das vortrainierte VGG16-Modell. vgg16_model = models.vgg16(pretrained=True).</li>
			<li>Stellen Sie sicher, dass die Zusammenfassung des VGG16-Modells "print(vgg16_model)" lautet.</li>
		</ol></li>
	</ol></li>
	<li>Definieren Sie die DCL- und DEDN-Modelle.<ol><li>Geben Sie für den Pseudocode des DCL-Algorithmus Input: Image dataset SOD und Output: Trained DCL model an.<ol><li>Initialisieren Sie das DCL-Modell mit dem VGG16-Backbone-Netzwerk.</li>
			<li>Verarbeiten Sie den Bilddatensatz D vor (z. B. Größenänderung, Normalisierung).</li>
			<li>Teilen Sie das Dataset in Trainings- und Validierungssätze auf.</li>
			<li>Definieren Sie die Verlustfunktion zum Trainieren des DCL-Modells (z. B. binäre Kreuzentropie).</li>
			<li>Legen Sie die Hyperparameter für das Training fest: Lernrate (0,0001), Anzahl der eingestellten Trainingsepochen (50), Batchgröße (8), Optimierer (Adam).</li>
			<li>Trainieren Sie das DCL-Modell: Führen Sie für jede Epoche in der definierten Anzahl von Epochen für jeden Batch im Trainingssatz aus. Geben Sie Folgendes ein:<ol><li>Vorwärtsdurchlauf: Feed-Batch-Bilder in das DCL-Modell. Berechnen Sie den Verlust mit den vorhergesagten Salienzkarten und Ground-Truth-Karten.</li>
				<li>Rückwärtspass: Aktualisieren Sie die Modellparameter mit dem Gradientenabstiegsende. Berechnen Sie den Validierungsverlust und andere Auswertungsmetriken am Ende des Validierungssatzes.</li>
			</ol></li>
			<li>Speichern Sie das trainierte DCL-Modell.</li>
			<li>Geben Sie das trainierte DCL-Modell zurück.</li>
		</ol></li>
		<li>Geben Sie für Pseudocode für den DEDN-Algorithmus Folgendes ein: Bilddatensatz (X), Ground-Truth-Salienzkarten (Y), Anzahl der Trainingsiterationen (N).<ol><li>Stellen Sie für das Encoder-Netzwerk sicher, dass der Encoder auf dem VGG16-Skelett mit Modifikationen basiert (wie unten erwähnt). HINWEIS: encoder_input = Eingabe(Form=input_shape) encoder_conv1 = Conv2D(64, (3, 3), activation='relu', padding='same')(encoder_input) encoder_pool1 = MaxPooling2D((2, 2))(encoder_conv1) encoder_conv2 = Conv2D(128, (3, 3), activation='relu', padding='same')(encoder_pool1) encoder_pool2 = MaxPooling2D((2, 2))(encoder_conv2) encoder_conv3 = Conv2D(256, (3, 3), activation='relu', padding='same')(encoder_pool2) encoder_pool3 = MaxPooling2D((2, 2))(encoder_conv3)</li>
			<li>Stellen Sie für das Decoder-Netzwerk sicher, dass der Decoder auf dem VGG16-Skelett mit Modifikationen basiert (wie unten erwähnt). HINWEIS: decoder_conv1 = Conv2D(256, (3, 3), activation='relu', padding='same')(encoder_pool3) decoder_upsample1 = UpSampling2D((2, 2))(decoder_conv1) decoder_conv2 = Conv2D(128, (3, 3), activation='relu', padding='same')(decoder_upsample1) decoder_upsample2 = UpSampling2D((2, 2))(decoder_conv2) decoder_conv3 = Conv2D(64, (3, 3), activation='relu', padding='same')(decoder_upsample2) decoder_upsample3 = UpSampling2D((2, 2))(decoder_conv3) decoder_output = Conv2D(1, (1, 1), activation='sigmoid', padding='same')(decoder_upsample3)</li>
		</ol></li>
		<li>Definieren Sie das DEDN-Modell. model = Modell (Eingaben = encoder_input, Ausgaben = decoder_output).</li>
		<li>Kompilieren Sie das Modell. model.compile (Optimierer = Adam, Verlust = binary_crossentropy).</li>
		<li>Wählen Sie die Trainingsschleife aus. HINWEIS: Für die Iteration im Bereich (N): # Wählen Sie nach dem Zufallsprinzip einen Stapel von Bildern und Ground-Truth-Karten aus. batch_X, batch_Y = randomly_select_batch(X, Y, batch_size).<ol><li>Trainieren Sie das Modell mit dem Batch. Verlust = model.train_on_batch(batch_X, batch_Y). Drucken Sie den Verlust für die Überwachung.</li>
		</ol></li>
		<li>Speichern Sie das trainierte Modell. model.save ('dedn_model.h5').</li>
	</ol></li>
	<li>Kombinieren.<ol><li>Kombinieren Sie die Ausgaben der DCL- und DEDN-Netzwerke und verfeinern Sie die Salienzkarte mit einem vollständig verbundenen CRF-Modell (Conditional Random Field).</li>
	</ol></li>
</ol>2. Bildverarbeitung
<ol><li>Klicken Sie auf Code ausführen , um die GUI-Schnittstelle aufzurufen (Abbildung 4).</li>
	<li>Klicken Sie auf Bild öffnen , um den Pfad und damit das zu erkennende Bild auszuwählen.</li>
	<li>Klicken Sie auf das Anzeigebild , um das Bild anzuzeigen, das für die Erkennung ausgewählt wurde.</li>
	<li>Klicken Sie auf Erkennung starten , um das ausgewählte Bild zu erkennen. HINWEIS: Das Erkennungsergebnis wird mit dem erkannten Bild angezeigt, d. h. dem Ergebnis des hervorstechenden Objekts (Abbildung 5).</li>
	<li>Klicken Sie auf Speicherpfad auswählen , um die Bildergebnisse der Erkennung hervorstechender Objekte zu speichern.</li>
</ol>

Verbesserte Präzision bei der Erkennung markanter Objekte mit tiefen neuronalen Netzen

<ol>
	<li>Wang, W. G., Shen, J. B., Ling, H. B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+deep+network+solution+for+attention+and+aesthetics+aware+photo+cropping.">A deep network solution for attention and aesthetics aware photo cropping.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. 41 (7), 1531-1544 (2018).</li><li>Wang, W. G., Sun, G. L., Gool, L. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Looking+beyond+single+images+for+weakly+supervised+semantic+segmentation+learning.">Looking beyond single images for weakly supervised semantic segmentation learning.</a> IEEE Transactions on Pattern Analysis and Machine. , (2022).</li><li>Mei, H. L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Exploring+dense+context+for+salient+object+detection.">Exploring dense context for salient object detection.</a> IEEE Transactions on Circuits and Systems for Video Technology. 32 (3), 1378-1389 (2021).</li><li>Borji, A., Itti, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=State-of-the-art+in+visual+attention+modeling.">State-of-the-art in visual attention modeling.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (1), 185-207 (2012).</li><li>Long, J., Shelhamer, E., Darrell, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+semantic+segmentation.">Fully convolutional networks for semantic segmentation.</a> , 3431-3440 (2015).</li><li>Simonyan, K., Zisserman, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Very+deep+convolutional+networks+for+large-scale+image+recognition.">Very deep convolutional networks for large-scale image recognition.</a> arXiv preprint. , 1409-1556 (2014).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> , 770-778 (2016).</li><li>Liu, N., Han, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Dhsnet:+Deep+hierarchical+saliency+network+for+salient+object+detection.">Dhsnet: Deep hierarchical saliency network for salient object detection.</a> , 678-686 (2016).</li><li>Zhang, L., Dai, J., Lu, H., He, Y., Wang, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+bi-directional+message+passing+model+for+salient+object+detection.">A bi-directional message passing model for salient object detection.</a> , 1741-1750 (2018).</li><li>Wu, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+mutual+learning+method+for+salient+object+detection+with+intertwined+multi-supervision.">A mutual learning method for salient object detection with intertwined multi-supervision.</a> , 8150-8159 (2019).</li><li>Li, G., Yu, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+contrast+learning+for+salient+object+detection.">Deep contrast learning for salient object detection.</a> , 478-487 (2019).</li><li>Ren, Q., Hu, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-scale+deep+encoder-decoder+network+for+salient+object+detection.">Multi-scale deep encoder-decoder network for salient object detection.</a> Neurocomputing. 316, 95-104 (2018).</li><li>Wang, W. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Salient+object+detection+in+the+deep+learning+era:+An+in-depth+survey.">Salient object detection in the deep learning era: An in-depth survey.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. 44 (6), 3239-3259 (2021).</li><li>Zhou, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=RGB-D+salient+object+detection:+A+survey.">RGB-D salient object detection: A survey.</a> Computational Visual Media. 7, 37-69 (2021).</li><li>Fu, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Siamese+network+for+RGB-D+salient+object+detection+and+beyond.">Siamese network for RGB-D salient object detection and beyond.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. 44 (9), 5541-5559 (2021).</li><li>Lai, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Weakly+supervised+visual+saliency+prediction.">Weakly supervised visual saliency prediction.</a> IEEE Transactions on Image Processing. 31, 3111-3124 (2022).</li><li>Zhang, L., Dai, J., Lu, H., He, Y., Wang, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+bi-directional+message+passing+model+for+salient+object+detection.">A bi-directional message passing model for salient object detection.</a> , 1741-1750 (2018).</li><li>Wu, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+mutual+learning+method+for+salient+object+detection+with+intertwined+multi-supervision.">A mutual learning method for salient object detection with intertwined multi-supervision.</a> , 8150-8159 (2019).</li><li>Wang, W., Shen, J., Dong, X., Borji, A., Yang, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Inferring+salient+objects+from+human+fixations.">Inferring salient objects from human fixations.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. 42 (8), 1913-1927 (2019).</li><li>Movahedi, V., Elder, J. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Design+and+perceptual+validation+of+performance+measures+for+salient+object+segmentation.">Design and perceptual validation of performance measures for salient object segmentation.</a> , 49-56 (2010).</li><li>Shi, J., Yan, Q., Xu, L., Jia, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Hierarchical+image+saliency+detection+on+extended+CSSD.">Hierarchical image saliency detection on extended CSSD.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. 38 (4), 717-729 (2015).</li><li>Achanta, R., Hemami, S., Estrada, F., Susstrunk, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Frequency-tuned+salient+region+detection.">Frequency-tuned salient region detection.</a> , 1597-1604 (2009).</li><li>Yang, C., Zhang, L., Lu, H., Ruan, X., Yang, M. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Saliency+detection+via+graph-based+manifold+ranking.">Saliency detection via graph-based manifold ranking.</a> , 3166-3173 (2013).</li><li>Wei, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geodesic+saliency+using+background+priors.">Geodesic saliency using background priors.</a> Computer Vision-ECCV 2012. , 29-42 (2012).</li><li>Margolin, R., Tal, A., Zelnik-Manor, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=What+makes+a+patch+distinct.">What makes a patch distinct.</a> , 1139-1146 (2013).</li><li>Perazzi, F., Kr&#228;henb&#252;hl, P., Pritch, Y., Hornung, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Saliency+filters:+Contrast+based+filtering+for+salient+region+detection.">Saliency filters: Contrast based filtering for salient region detection.</a> , 733-740 (2012).</li><li>Hou, X., Harel, J., Koch, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+signature:+Highlighting+sparse+salient+regions.">Image signature: Highlighting sparse salient regions.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. 34 (1), 194-201 (2011).</li><li>Jiang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Salient+object+detection:+A+discriminative+regional+feature+integration+approach.">Salient object detection: A discriminative regional feature integration approach.</a> , 2083-2090 (2013).</li><li>Li, G., Yu, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Visual+saliency+based+on+multiscale+deep+features.">Visual saliency based on multiscale deep features.</a> , 5455-5463 (2015).</li><li>Lee, G., Tai, Y. W., Kim, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+saliency+with+encoded+low+level+distance+map+and+high-level+features.">Deep saliency with encoded low level distance map and high-level features.</a> , 660-668 (2016).</li><li>Liu, N., Han, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Dhsnet:+Deep+hierarchical+saliency+network+for+salient+object+detection.">Dhsnet: Deep hierarchical saliency network for salient object detection.</a> , 678-686 (2016).</li></ol>

Die Autoren haben nichts offenzulegen.

Der Artikel stellt ein tiefes neuronales End-to-End-Netz vor, das speziell für die Erkennung von markanten Objekten in komplexen Umgebungen entwickelt wurde. Das Netzwerk besteht aus zwei miteinander verbundenen Komponenten: einem Pixel-Level-Multiscale-Fully-Convolutional-Network (DCL) und einem tiefen Encoder-Decoder-Netzwerk (DEDN). Diese Komponenten arbeiten synergetisch zusammen und integrieren kontextuelle Semantik, um visuelle Kontraste in Multiskalen-Feature-Maps zu erzeugen. Darüber hinaus nutzen sie sowohl ti...

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Matlab</td>
			<td>MathWorks</td>
			<td>Matlab R2016a</td>
			<td>MATLAB&#39;s programming interface provides development tools for improving code quality maintainability and maximizing performance. 
			It provides tools for building applications using custom graphical interfaces. 
			It provides tools for combining MATLAB-based algorithms with external applications and languages</td>
		</tr>
		<tr>
			<td>Processor&#160;</td>
			<td>Intel</td>
			<td>11th Gen Intel(R) Core (TM) i5-1135G7 @ 2.40GHz</td>
			<td>64-bit Win11 processor&#160;</td>
		</tr>
		<tr>
			<td>Pycharm</td>
			<td>JetBrains</td>
			<td>PyCharm 3.0</td>
			<td>PyCharm is a Python IDE (Integrated Development Environment) 
			a list of required python: 
			modulesmatplotlib 
			skimage 
			torch 
			os 
			time 
			pydensecrf 
			opencv 
			glob 
			PIL 
			torchvision 
			numpy 
			tkinter</td>
		</tr>
		<tr>
			<td>PyTorch&#160;</td>
			<td>Facebook</td>
			<td>PyTorch 1.4&#160;</td>
			<td>PyTorch is an open source Python machine learning library , based on Torch , used for natural language processing and other applications.PyTorch can be viewed both as the addition of GPU support numpy , but also can be viewed as a powerful deep neural network with automatic derivatives .</td>
		</tr>
	</tbody>
</table>

end-to-end deep neural network for salient object detection in complex environments

Die Erkennung hervorstechender Objekte hat sich zu einem aufstrebenden Interessengebiet im Bereich der Computer Vision entwickelt. Die vorherrschenden Algorithmen weisen jedoch eine verminderte Präzision auf, wenn sie mit der Erkennung hervorstechender Objekte in komplizierten und facettenreichen Umgebungen beauftragt sind. Angesichts dieses dringenden Anliegens stellt dieser Artikel ein tiefes neuronales End-to-End-Netzwerk vor, das darauf abzielt, hervorstechende Objekte in komplexen Umgebungen zu erkennen. Die Studie stellt ein tiefes neuronales End-to-End-Netzwerk vor, das darauf abzielt, hervorstechende Objekte in komplexen Umgebungen zu erkennen. Das vorgeschlagene Netzwerk besteht aus zwei miteinander verbundenen Komponenten, nämlich einem Pixel-Level-Multiscale-Full-Convolutional-Network und einem tiefen Encoder-Decoder-Netzwerk, und integriert kontextuelle Semantik, um visuellen Kontrast über Multiskalen-Feature-Maps hinweg zu erzeugen, während tiefe und flache Bildmerkmale verwendet werden, um die Genauigkeit der Objektgrenzenidentifikation zu verbessern. Die Integration eines vollständig verbundenen CRF-Modells (Conditional Random Field) verbessert die räumliche Kohärenz und Konturabgrenzung von Salient Maps weiter. Der vorgeschlagene Algorithmus wird ausführlich anhand von 10 zeitgenössischen Algorithmen in den SOD- und ECSSD-Datenbanken evaluiert. Die Evaluierungsergebnisse zeigen, dass der vorgeschlagene Algorithmus andere Ansätze in Bezug auf Präzision und Genauigkeit übertrifft und damit seine Wirksamkeit bei der Erkennung hervorstechender Objekte in komplexen Umgebungen belegt.

Autor im Rampenlicht: Verbesserung der Erkennung markanter Objekte für Smart-Grid-Anwendungen

End-to-End-Deep Neural Network zur Erkennung von markanten Objekten in komplexen Umgebungen

Our research range from salient object detection, computer vision, image processing and more. We want to respond to the application of salient object detection such as its use in smart grid for inspecting insulators. The next research advancement involves transferring salient object algorithms for learning in the context of smart grids.The convolutional neural networks can more effectively act as salient information from images, enhancing the processing of salient object detection. Therefore, they advance the research in salient object detection. Our research outcome improves the accuracy of salient object detection, and allow for the transfer of algorithms such as their application in smart grids for effectively segmenting and detecting insulators.

Diese Studie stellt ein tiefes neuronales End-to-End-Netzwerk vor, das zwei komplementäre Netzwerke umfasst: ein Pixel-Level-Multiskalen-Faltungsnetzwerk und ein tiefes Encoder-Decoder-Netzwerk. Das erste Netzwerk integriert kontextuelle Semantik, um visuelle Kontraste aus Multiskalen-Merkmalskarten abzuleiten und die Herausforderung fester rezeptiver Felder in tiefen neuronalen Netzen über verschiedene Schichten hinweg anzugehen. Das zweite Netzwerk verwendet sowohl tiefe als auch flache Bildmerkmale, um das Problem u...

Watch this Scientific Journal Video about End-To-End Deep Neural Network for Salient Object Detection in Complex Environments at JoVE.com

Das vorliegende Protokoll beschreibt einen neuartigen End-to-End-Algorithmus zur Erkennung von auffälligen Objekten. Es nutzt tiefe neuronale Netze, um die Präzision der Erkennung von auffälligen Objekten in komplizierten Umgebungskontexten zu verbessern.

Salient object detection has emerged as a burgeoning area of interest within the realm of computer vision. However, prevailing algorithms exhibit ...

Unsere Forschung reicht von der Erkennung auffälliger Objekte, Computer Vision, Bildverarbeitung und mehr. Wir wollen auf die Anwendung der Erkennung hervorstechender Objekte reagieren, wie z. B. ihre Verwendung in Smart Grids zur Inspektion von Isolatoren. Der nächste Forschungsfortschritt besteht darin, hervorstechende Objektalgorithmen für das Lernen im Kontext von Smart Grids zu übertragen.Die neuronalen Faltungsnetze können effektiver als hervorstechende Informationen aus Bildern fungieren und die Verarbeitung der Erkennung hervorstechender Objekte verbessern. Daher bringen sie die Forschung zur Erkennung von auffälligen Objekten voran. Unsere Forschungsergebnisse verbessern die Genauigkeit der Erkennung von markanten Objekten und ermöglichen die Übertragung von Algorithmen wie ihrer Anwendung in Smart Grids zur effektiven Segmentierung und Erkennung von Isolatoren.

end-to-end-deep-neural-network-for-salient-object-detection-complex

Research

JoVE Journal

Engineering

End-To-End Deep Neural Network for Salient Object Detection in Complex Environments

292 Aufrufe.  Zhengzhou University of Economics and Business. Unsere Forschung reicht von der Erkennung auffälliger Objekte, Computer Vision, Bildverarbeitung und mehr. Wir wollen auf die Anwendung der Erkennung hervorstechender Objekte reagieren, wie z. B. ihre Verwendung in Smart Grids zur Inspektion von Isolatoren. Der nächste Forschungsfortschritt besteht darin, hervorstechende Objektalgorithmen für das Lernen im Kontext von Smart Grids zu übertragen.Die neuronalen Faltungsnetze können effektiver als hervorstechende Informationen aus Bil...

Serie: Autor im Rampenlicht: Verbesserung der Erkennung markanter Objekte für Smart-Grid-Anwendungen

Salient object detection has emerged as a burgeoning area of interest within the realm of computer vision. However, prevailing algorithms exhibit diminished precision when tasked with detecting salient objects within intricate and multifaceted environments. In light of this pressing concern, this article presents an end-to-end deep neural network that aims to detect salient objects within complex environments. The study introduces an end-to-end deep neural network that aims to detect salient objects within complex environments. Comprising two interrelated components, namely a pixel-level multiscale full convolutional network and a deep encoder-decoder network, the proposed network integrates contextual semantics to produce visual contrast across multiscale feature maps while employing deep and shallow image features to improve the accuracy of object boundary identification. The integration of a fully connected conditional random field (CRF) model further enhances the spatial coherence and contour delineation of salient maps. The proposed algorithm is extensively evaluated against 10 contemporary algorithms on the SOD and ECSSD databases. The evaluation results demonstrate that the proposed algorithm outperforms other approaches in terms of precision and accuracy, thereby establishing its efficacy in salient object detection within complex environments.

The present protocol describes a novel end-to-end salient object detection algorithm. It leverages deep neural networks to enhance the precision of salient object detection within intricate environmental contexts.

Forschung

Ingenieurwesen

Implementation of the DCL Algorithm Using Pre-Trained VGG16 Model for Salient Object Detection in Complex Environments

To begin, load a deep learning library in Python, such as PyTorch. Import Torch and Torchvision Models as models. Next, load the pre-trained VCG16 model.To generate the pseudo code of the DCL algorithm, provide image dataset SOD into the input field and used train DCL model as the output field. Now initialize the DCL model with the VGG16 backbone network. Pre-process the image dataset, then split the dataset into training and validation sets.Define the loss function for training the DCL model. Set the training hyperparameters as 0.0001 for learning rate, 50 as the number of training epochs set, eight as the batch size, and Adam as the optimizer. Combine the outputs of the DCL and DEDN networks and refine the saliency map using a fully connected conditional random field model.To process the image, click on the run code to bring up the GUI interface. Now press Open Image to choose the selected image for detection. Then press Display Image to show the selected image.Click on Start Detection to detect the selected image. Lastly, press Select the Safe Path and choose the appropriate file location to save the image results. The removal of the DCL model from the algorithm caused a decrease in F beta value and an increase in the E MAE value.This algorithm only removes the DEDN structure. A similar decrease in the F beta value and an increase in the E MAE value were observed compared to the complete module. The DCL algorithm described the target boundary when detecting images in the SOD database, but struggled to effectively filter the background.However, the DEDN algorithm strengthened the target boundary, but suppressed background redundancy information.