Transcript Automatic Maneuver Recognition in the Automobile: the Fusion of Uncertain Sensor Values using Bayesian Models Arati Gerdes Automatic Maneuver Recognition in the Automobile.

Automatic Maneuver Recognition in the Automobile:
the Fusion of Uncertain Sensor Values using Bayesian Models
Arati Gerdes
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 1
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Overview
1. Problem Description
2. Challenges
3. Dealing with Uncertainty
4. The Experiment
5. Results
6. Current Work
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 2
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
1. Problem Description
2. Challenges
3. Dealing with Uncertainty
4. The Experiment
5. Results
6. Current Work
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 3
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Early Automobiles
Karl Benz’s Tri-Car (1885)
Henry Ford’s Quadricycle (1896)
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 4
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Automobiles Today
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 5
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Driving-Maneuver Recognition
Fuse the available sensor
data in order to identify the
driving maneuver being
performed
Understand the driver‘s
intentions
Tune assistance to the
driver‘s needs
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 6
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
1. Problem Description
2. Challenges
3. Dealing with Uncertainty
4. The Experiment
5. Results
6. Current Work
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 7
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Challenges to Automatic Maneuver-Recognition
Inaccuracy in the sensor values:
Today‘s automobile sensors return uncertain and often invalid values
Driving maneuvers are performed in a wide variety of driving styles
It is difficult to define a set of rules that describe a maneuver
Rule-based systems are inadequate for maneuver-recogition
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 8
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
1. Problem Description
2. Challenges
3. Dealing with Uncertainty
4. The Experiment
5. Results
6. Current Work
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 9
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Probabilistic Inference using Bayesian Networks
Solid, theoretical framework of
Probability Theory
Merge Left
Derivation of inferences from
uncertain evidence
Directed Acyclic Graph
Indicator
Steering
Nodes represent variables of interest
Edges represent dependencies
Strengths of the dependencies are
described by local conditional probability
tables
Merge left
Merge left
FALSE
TRUE
Indicator
OFF
0.9
0.2
Indicator
ON
0.1
0.8
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 10
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Probabilistic Inference using Bayesian Networks
Supports Bidirectional inference
Supports Learning
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 11
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
1. Problem Description
2. Challenges
3. Dealing with Uncertainty
4. The Experiment
5. Results
6. Current Work
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 12
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
The ViewCar
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 13
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Ten Maneuvers Selected for Recognition
Maneuvers
Stopped
Follow road
Follow car
Turn left
Turn right
Merge left
Merge right
Overtake
Enter freeway
Exit freeway
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 14
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
1. Problem Description
2. Challenges
3. Dealing with Uncertainty
4. The Experiment
5. Results
6. Current Work
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 15
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Prototype System and Experimental Results
A Prototype System was built and tested with data from the ViewCar
40 Minutes, 152 Maneuvers
Recognition confidence threshold set to 60%
140 of the maneuvers (~92%) were recognized by the system
The correct maneuver was recognized during approximately 77% of the drive
duration
A false maneuver was recognized during approximately 14% of the drive duration.
An unrecognized maneuver was returned during approximately 9% of the drive
duration.
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 16
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Prototype System and Experimental Results
Maneuver
Number
driven
Number recognized
Stopped
2
2
Follow Road
48
48
Follow Car
41
40
Turn left
5
4
Turn right
3
3
Merge left
11
10
Merge right
23
19
Overtake
13
8
Enter freeway
2
2
Exit freeway
4
4
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 17
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
1. Problem Description
2. Challenges
3. Dealing with Uncertainty
4. The Experiment
5. Results
6. Current Work
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 18
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Current Work
Construction of an online version of the system
Construction of more detailed models to improve recognition accuracy
Incorporation of input from long-range radar
Correlation of driver gaze behavior with driving intent to add predictive power
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 19
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene
Thank you for your attention
Automatic Maneuver Recognition in the Automobile > 5. November 2015 > Folie 20
Institut für Verkehrsführung und Fahrzeugsteuerung > Technologien aus Luft- und Raumfahrt für Straße und Schiene