Probability and Random Processes for Electrical Engineers, Exercises of Probability and Statistics

Download Probability and Random Processes for Electrical Engineers and more Exercises Probability and Statistics in PDF only on Docsity!

Probability and Random Pro cesses

for Electrica l Engineers

John A. Gubner

University of Wisconsin{Madison

Discrete Random Variables

Bernoulli(p)

}(X = 1) = p; }(X = 0) = 1 p.

E[X ] = p; var(X ) = p(1 p); GX (z ) = (1 p) + pz.

binomial(n; p)

}(X = k ) =

 n k

 pk^ (1 p)nk^ ; k = 0 ; : : : ; n.

E[X ] = np; var(X ) = np(1 p); GX (z ) = [(1 p) + pz ]n^.

geometric 0 (p)

}(X = k ) = (1 p)pk^ ; k = 0 ; 1 ; 2 ; : : : :

E[X ] = p 1 p

; var (X ) = p (1 p)^2

; GX (z ) = 1 p 1 pz

geometric 1 (p)

}(X = k ) = (1 p)pk^ ^1 ; k = 1 ; 2 ; 3 ; : : : :

E[X ] =

1 p

; var (X ) =

p (1 p)^2

; GX (z ) =

(1 p)z 1 pz

negative binomial or Pascal(m; p)

}(X = k ) =

 k 1 m 1

 (1 p)m^ pk^ m^ ; k = m; m + 1 ; : : : :

E[X ] =

m 1 p

; var (X ) =

mp (1 p)^2

; GX (z ) =

 (1 p)z 1 pz

m .

Note that Pascal(1; p) is the same as geometric 1 (p).

Poisson()

}(X = k ) = 

k (^) e k! ; k = 0 ; 1 ; : : : :

E[X ] = ; var (X ) = ; GX (z ) = e(z^ 1)^.

Preface

Intended Audience

This b o ok contains enough material to serve as a text for a two-course sequence in probability and random pro cesses for electrical engineers. It is also useful as a reference by practicing engineers. For students with no background in probability and random pro cesses, a rst course can b e o ered either at the undergraduate level to talented juniors and seniors, or at the graduate level. The prerequisite is the usual undergrad- uate electrical engineering course on signals and systems, e.g., Haykin and Van Veen [18] or Opp enheim and Willsky [30] (see the Bibliography at the end of the b o ok). A second course can b e o ered at the graduate level. The additional prereq- uisite is some familiarity with linear algebra; e.g., matrix-vector multiplication, determinants, and matrix inverses. Because of the sp ecial attention paid to complex-valued Gaussian random vectors and related random variables, the text will b e of particular interest to students in wireless communications. Ad- ditionally, the last chapter, which fo cuses on self-similar pro cesses, long-range dep endence, and aggregation, will b e very useful for students in communication networks who are interested mo deling Internet trac.

Material for a First Course

In a rst course, Chapters 1{5 would make up the core of any o ering. These chapters cover the basics of probability and discrete and continuous random variables. Following Chapter 5, additional topics such as wide-sense stationary pro cesses (Sections 6.1{6.5), the Poisson pro cess (Section 8.1), discrete-time Markov chains (Section 9.1), and con dence intervals (Sections 12.1{12.4) can also b e included. These topics can b e covered indep endently of each other, in any order, except that Problem 15 in Chapter 12 refers to the Poisson pro cess.

Material for a Second Course

In a second course, Chapters 7{8 and 10{11 would make up the core, with additional material from Chapters 6, 9, 12, and 13 dep ending on student prepa- ration and course ob jectives. For review purp oses, it may b e helpful at the b e- ginning of the course to assign the more advanced problems from Chapters 1{ that are marked with a?^.

Features

Those parts of the b o ok mentioned ab ove as b eing suitable for a rst course are written at a level appropriate for undergraduates. More advanced problems and sections in these parts of the b o ok are indicated by a?^. Those parts of the b o ok not indicated as suitable for a rst course are written at a level suitable

iii

Table of Contents

• 1 Intro duction to Probability
  • 1.1 Review of Set Notation : : : : : : : : : : : : : : : : : : : : : : :
  • 1.2 Probability Mo dels : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 1.3 Axioms and Prop erties of Probability : : : : : : : : : : : : : : :
    • Consequences of the Axioms : : : : : : : : : : : : : : : : : : :
  • 1.4 Indep endence : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
    • Indep endence for More Than Two Events : : : : : : : : : : : :
  • 1.5 Conditional Probability : : : : : : : : : : : : : : : : : : : : : : :
    • The Law of Total Probability and Bayes' Rule : : : : : : : : :
  • 1.6 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 1.7 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 2 Discrete Random Variables
  • 2.1 Probabilities Involving Random Variables : : : : : : : : : : : : :
    • Discrete Random Variables : : : : : : : : : : : : : : : : : : : :
    • Integer-Valued Random Variables : : : : : : : : : : : : : : : :
    • Pairs of Random Variables : : : : : : : : : : : : : : : : : : : :
    • Multiple Indep endent Random Variables : : : : : : : : : : : :
    • Probability Mass Functions : : : : : : : : : : : : : : : : : : : :
  • 2.2 Exp ectation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : - the Unconscious Statistician (LOTUS) : : : : : : : : : : : Exp ectation of Functions of Random Variables, or the Law of -? Derivation of LOTUS : : : : : : : : : : : : : : : : : : : : : :
    • Linearity of Exp ectation : : : : : : : : : : : : : : : : : : : : :
    • Moments : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
    • Probability Generating Functions : : : : : : : : : : : : : : : :
      • dom Variables : : : : : : : : : : : : : : : : : : : : : : : : Exp ectations of Pro ducts of Functions of Indep endent Ran-
    • Binomial Random Variables and Combinations : : : : : : : : :
    • Poisson Approximation of Binomial Probabilities : : : : : : :
  • 2.3 The Weak Law of Large Numb ers : : : : : : : : : : : : : : : : : :
    • Uncorrelated Random Variables : : : : : : : : : : : : : : : : :
    • Markov's Inequality : : : : : : : : : : : : : : : : : : : : : : : :
    • Chebyshev's Inequality : : : : : : : : : : : : : : : : : : : : : :
    • Conditions for the Weak Law : : : : : : : : : : : : : : : : : :
  • 2.4 Conditional Probability : : : : : : : : : : : : : : : : : : : : : : :
    • The Law of Total Probability : : : : : : : : : : : : : : : : : :
    • The Substitution Law : : : : : : : : : : : : : : : : : : : : : : :
  • 2.5 Conditional Exp ectation : : : : : : : : : : : : : : : : : : : : : : :
    • Substitution Law for Conditional Exp ectation : : : : : : : : :
    • Law of Total Probability for Exp ectation : : : : : : : : : : : :
  • 2.6 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : vi Table of Contents
  • 2.7 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 3 Continuous Random Variables
  • 3.1 De nition and Notation : : : : : : : : : : : : : : : : : : : : : : :
    • The Paradox of Continuous Random Variables : : : : : : : : :
  • 3.2 Exp ectation of a Single Random Variable : : : : : : : : : : : : :
    • Moment Generating Functions : : : : : : : : : : : : : : : : : :
    • Characteristic Functions : : : : : : : : : : : : : : : : : : : : :
  • 3.3 Exp ectation of Multiple Random Variables : : : : : : : : : : : :
    • Linearity of Exp ectation : : : : : : : : : : : : : : : : : : : : :
      • dom Variables : : : : : : : : : : : : : : : : : : : : : : : : Exp ectations of Pro ducts of Functions of Indep endent Ran-
  • 3.4? Probability Bounds : : : : : : : : : : : : : : : : : : : : : : : : :
  • 3.5 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 3.6 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 4 Analyzing Systems with Random Inputs
  • 4.1 Continuous Random Variables : : : : : : : : : : : : : : : : : : : : -? The Normal CDF and the Error Function : : : : : : : : : : :
  • 4.2 Reliability : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 4.3 Cdfs for Discrete Random Variables : : : : : : : : : : : : : : : :
  • 4.4 Mixed Random Variables : : : : : : : : : : : : : : : : : : : : : :
  • 4.5 Functions of Random Variables and Their Cdfs : : : : : : : : : :
  • 4.6 Prop erties of Cdfs : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 4.7 The Central Limit Theorem : : : : : : : : : : : : : : : : : : : : :
    • Derivation of the Central Limit Theorem : : : : : : : : : : : :
  • 4.8 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 5 Multiple Random Variables
  • 5.1 Joint and Marginal Probabilities : : : : : : : : : : : : : : : : : :
    • Pro duct Sets and Marginal Probabilities : : : : : : : : : : : :
    • Joint and Marginal Cumulative Distributions : : : : : : : : : :
  • 5.2 Jointly Continuous Random Variables : : : : : : : : : : : : : : :
    • Marginal Densities : : : : : : : : : : : : : : : : : : : : : : : :
    • Sp ecifying Joint Densities : : : : : : : : : : : : : : : : : : : :
    • Indep endence : : : : : : : : : : : : : : : : : : : : : : : : : : :
    • Exp ectation : : : : : : : : : : : : : : : : : : : : : : : : : : : :
      • uous : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :? Continuous Random Variables That Are not Jointly Contin-
  • 5.3 Conditional Probability and Exp ectation : : : : : : : : : : : : : :
  • 5.4 The Bivariate Normal : : : : : : : : : : : : : : : : : : : : : : : :
  • 5.5? Multivariate Random Variables : : : : : : : : : : : : : : : : : :
    • The Law of Total Probability : : : : : : : : : : : : : : : : : :
  • 5.6 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : - July 19,
  • 5.7 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Table of Contents vii
• 6 Intro duction to Random Pro cesses
  • 6.1 Mean, Correlation, and Covariance : : : : : : : : : : : : : : : : :
  • 6.2 Wide-Sense Stationary Pro cesses : : : : : : : : : : : : : : : : : : - Strict-Sense Stationarity : : : : : : : : : : : : : : : : : : : : : - Wide-Sense Stationarity : : : : : : : : : : : : : : : : : : : : : - sities : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Prop erties of Correlation Functions and Power Sp ectral Den-
  • 6.3 WSS Pro cesses through Linear Time-Invariant Systems : : : : :
  • 6.4 The Matched Filter : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 6.5 The Wiener Filter : : : : : : : : : : : : : : : : : : : : : : : : : : -? Causal Wiener Filters : : : : : : : : : : : : : : : : : : : : : :
    • Khinchin Theorem : : : : : : : : : : : : : : : : : : : : : : : : : : 6.6? Exp ected Time-Average Power and the Wiener{
      • Mean-Square Law of Large Numb ers for WSS Pro cesses : : :
  • 6.7? Power Sp ectral Densities for non-WSS Pro cesses : : : : : : : : : - Derivation of (6.22) : : : : : : : : : : : : : : : : : : : : : : : :
  • 6.8 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 6.9 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 7 Random Vectors
  • 7.1 Mean Vector, Covariance Matrix, and Characteristic Function : :
  • 7.2 The Multivariate Gaussian : : : : : : : : : : : : : : : : : : : : : : - The Characteristic Function of a Gaussian Random Vector : : - dent : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : For Gaussian Random Vectors, Uncorrelated Implies Indep en- - The Density Function of a Gaussian Random Vector : : : : :
  • 7.3 Estimation of Random Vectors : : : : : : : : : : : : : : : : : : : - Linear Minimum Mean Squared Error Estimation : : : : : : : - Minimum Mean Squared Error Estimation : : : : : : : : : : :
  • 7.4 Transformations of Random Vectors : : : : : : : : : : : : : : : :
  • 7.5 Complex Random Variables and Vectors : : : : : : : : : : : : : : - Complex Gaussian Random Vectors : : : : : : : : : : : : : : :
  • 7.6 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 7.7 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 8 Advanced Concepts in Random Pro cesses
  • 8.1 The Poisson Pro cess : : : : : : : : : : : : : : : : : : : : : : : : : -? Derivation of the Poisson Probabilities : : : : : : : : : : : : : - Marked Poisson Pro cesses : : : : : : : : : : : : : : : : : : : : - Shot Noise : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 8.2 Renewal Pro cesses : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 8.3 The Wiener Pro cess : : : : : : : : : : : : : : : : : : : : : : : : : - Integrated White-Noise Interpretation of the Wiener Pro cess : - July 19,
    • The Problem with White Noise : : : : : : : : : : : : : : : : : viii Table of Contents
    • The Wiener Integral : : : : : : : : : : : : : : : : : : : : : : : :
    • Random Walk Approximation of the Wiener Pro cess : : : : :
  • 8.4 Sp eci cation of Random Pro cesses : : : : : : : : : : : : : : : : :
    • Finitely Many Random Variables : : : : : : : : : : : : : : : :
    • In nite Sequences (Discrete Time) : : : : : : : : : : : : : : : :
    • Continuous-Time Random Pro cesses : : : : : : : : : : : : : :
  • 8.5 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 8.6 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 9 Intro duction to Markov Chains
  • 9.1 Discrete-Time Markov Chains : : : : : : : : : : : : : : : : : : : :
    • State Space and Transition Probabilities : : : : : : : : : : : :
    • Examples : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
    • Stationary Distributions : : : : : : : : : : : : : : : : : : : : :
    • Derivation of the Chapman{Kolmogorov Equation : : : : : : :
    • Stationarity of the n-step Transition Probabilities : : : : : : :
  • 9.2 Continuous-Time Markov Chains : : : : : : : : : : : : : : : : : :
    • Kolmogorov's Di erential Equations : : : : : : : : : : : : : : :
    • Stationary Distributions : : : : : : : : : : : : : : : : : : : : :
  • 9.3 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 10 Mean Convergence and Applications
  • 10.1 Convergence in Mean of Order p : : : : : : : : : : : : : : : : : :
  • 10.2 Normed Vector Spaces of Random Variables : : : : : : : : : : : :
  • 10.3 The Wiener Integral (Again) : : : : : : : : : : : : : : : : : : : :
  • 10.4 Pro jections, Orthonality Principle, Pro jection Theorem : : : : :
  • 10.5 Conditional Exp ectation : : : : : : : : : : : : : : : : : : : : : : :
    • Notation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 10.6 The Sp ectral Representation : : : : : : : : : : : : : : : : : : : : :
  • 10.7 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 10.8 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 11 Other Mo des of Convergence
  • 11.1 Convergence in Probability : : : : : : : : : : : : : : : : : : : : :
  • 11.2 Convergence in Distribution : : : : : : : : : : : : : : : : : : : : :
  • 11.3 Almost Sure Convergence : : : : : : : : : : : : : : : : : : : : : :
    • The Skoroho d Representation Theorem : : : : : : : : : : : : :
  • 11.4 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 11.5 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 12 Parameter Estimation and Con dence Intervals
  • 12.1 The Sample Mean : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 12.2 Con dence Intervals When the Variance Is Known : : : : : : : :
  • 12.3 The Sample Variance : : : : : : : : : : : : : : : : : : : : : : : : :
  • 12.4 Con dence Intervals When the Variance Is Unknown : : : : : : : - July 19,
    • Applications : : : : : : : : : : : : : : : : : : : : : : : : : : : : Table of Contents ix
    • Sampling with and without Replacement : : : : : : : : : : : :
  • 12.5 Con dence Intervals for Normal Data : : : : : : : : : : : : : : :
    • Estimating the Mean : : : : : : : : : : : : : : : : : : : : : : :
    • Limiting t Distribution : : : : : : : : : : : : : : : : : : : : : :
    • Estimating the Variance | Known Mean : : : : : : : : : : : :
    • Estimating the Variance | Unknown Mean : : : : : : : : : : -? Derivations : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 12.6 Notes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 12.7 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
• 13 Advanced Topics
  • 13.1 Self Similarity in Continuous Time : : : : : : : : : : : : : : : : :
    • Implications of Self Similarity : : : : : : : : : : : : : : : : : :
    • Stationary Increments : : : : : : : : : : : : : : : : : : : : : : :
    • Fractional Brownian Motion : : : : : : : : : : : : : : : : : : :
  • 13.2 Self Similarity in Discrete Time : : : : : : : : : : : : : : : : : : : - b ers : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Convergence Rates for the Mean-Square Law of Large Num-
    • Aggregation : : : : : : : : : : : : : : : : : : : : : : : : : : : :
    • The Power Sp ectral Density : : : : : : : : : : : : : : : : : : :
    • Notation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 13.3 Asymptotic Second-Order Self Similarity : : : : : : : : : : : : : :
  • 13.4 Long-Range Dep endence : : : : : : : : : : : : : : : : : : : : : : :
  • 13.5 ARMA Pro cesses : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 13.6 ARIMA Pro cesses : : : : : : : : : : : : : : : : : : : : : : : : : :
  • 13.7 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
  • Bibliography
  • Index - July 19,

CHAPTER 1

Intro duction to Probability

If we toss a fair coin many times, then we exp ect that the fraction of heads should b e close to 1 =2, and we say that 1 = 2 is the \probability of heads." In fact, we might try to de ne the probability of heads to b e the limiting value of the fraction of heads as the total numb er of tosses tends to in nity. The diculty with this approach is that there is no simple way to guarantee that the desired limit exists. An alternative approach was develop ed by A. N. Kolmogorov in 1933. Kolmogorov's idea was to start with an axiomatic de nition of probability and then deduce results logically as consequences of the axioms. One of the successes of Kolmogorov's approach is that under suitable assumptions, it can b e proved that the fraction of heads in a sequence of tosses of a fair coin converges to 1 = 2 as the numb er of tosses increases. You will meet a simple version of this result in the weak law of large numb ers in Chapter 2. Generally sp eaking, a law of large numb ers is a theorem that gives conditions under which the numerical average of a large numb er of measurements converges in some sense to a probability or other parameter sp eci ed by the underlying mathematical mo del. Other laws of large numb ers are discussed in Chapters 10 and 11. Another celebrated limit result of probability theory is the central limit theorem, which you will meet in Chapter 4. The central limit theorem says that when you add up a large numb er of random p erturbations, the overall e ect has a Gaussian or normal distribution. For example, the central limit theorem explains why thermal noise in ampli ers has a Gaussian distribution. The central limit theorem also accounts for the fact that the sp eed of a particle in an ideal gas has the Maxwell distribution. In addition to the more famous results mentioned ab ove, in this b o ok you will learn the \to ols of the trade" of probability and random pro cesses. These include probability mass functions and densities, exp ectation, transform meth- o ds, random pro cesses, ltering of pro cesses by linear time-invariant systems, and more.

Since probability theory relies heavily on the use of set notation and set theory, a brief review of these topics is given in Section 1.1. In Section 1.2, we consider a numb er of simple physical exp eriments, and we construct mathemat- ical probability mo dels for them. These mo dels are used to solve several sample problems. Motivated by our sp eci c probability mo dels, in Section 1.3, we in- tro duce the general axioms of probability and several of their consequences. The concepts of statistical indep endence and conditional probability are intro- duced in Sections 1.4 and 1.5, resp ectively. Section 1.6 contains the notes that are referenced in the text by numerical sup erscripts. These notes are usually rather technical and can b e skipp ed by the b eginning student. However, the

2 Chap. 1 Intro duction to Probability

notes provide a more in-depth discussion of certain topics that may b e of in- terest to more advanced readers. The chapter concludes with problems for the reader to solve. Problems and sections marked by a?^ are intended for more advanced readers.

1.1. Review of Set Notation

Let b e a set of p oints. If! is a p oint in , we write! 2. Let A and B b e two collections of p oints in. If every p oint in A also b elongs to B , we say that A is a subset of B , and we denote this by writing A  B. If A  B and B  A, then we write A = B ; i.e., two sets are equal if they contain exactly the same p oints. Set relationships can b e represented graphically in Venn diagrams. In these pictures, the whole space is represented by a rectangular region, and subsets of are represented by disks or oval-shap ed regions. For example, in Figure 1.1(a), the disk A is completely contained in the oval-shap ed region B , thus depicting the relation A  B. If A  , and! 2 do es not b elong to A, we write! 2 = A. The set of all such! is called the complement of A in ; i.e.,

Ac^ := f! 2 :! 2 = Ag:

This is illustrated in Figure 1.1(b), in which the shaded region is the complement of the disk A. The empty set or null set of is denoted by 6 ; it contains no p oints of

. Note that for any A  , 6  A. Also, c^ = 6.

( a )

A B A

A c

( b )

Figure 1.1. (a) Venn diagram of A  B. (b) The complement of the disk A, denoted by Ac^ , is the shaded part of the diagram.

The union of two subsets A and B is

A [ B := f! 2 :! 2 A or! 2 B g:

Here \or" is inclusive; i.e., if! 2 A [ B , we p ermit! to b elong to either A or B or b oth. This is illustrated in Figure 1.2(a), in which the shaded region is the union of the disk A and the oval-shap ed region B. The intersection of two subsets A and B is A \ B := f! 2 :! 2 A and! 2 B g;

July 18, 2002

4 Chap. 1 Intro duction to Probability

The distributive laws are

A \ (B [ C ) = (A \ B ) [ (A \ C )

and

A [ (B \ C ) = (A [ B ) \ (A [ C ):

DeMorgan's laws are

(A \ B )c^ = Ac^ [ B c^ and (A [ B )c^ = Ac^ \ B c^ :

We next consider in nite collections of subsets of. Supp ose An  ,

n = 1 ; 2 ; : : : : Then

[^1

n=

An := f! 2 :! 2 An for some n  1 g:

In other words,! 2

S 1

n=1 An^ if^ and^ only^ if^ for^ at^ least^ one^ integer^ n^ ^ 1,

! 2 An. This de nition admits the p ossibility that! 2 An for more than one

value of n. Next, we de ne

^1

n=

An := f! 2 :! 2 An for all n  1 g:

In other words,! 2

T 1

n=1 An^ if^ and^ only^ if^!^2 An^ for^ every^ p^ ositive^ integer^ n.

Examp le 1.1. Let denote the real numb ers, = (1; 1 ). Then the

following in nite intersections and unions can b e simpli ed. Consider the in-

tersection 1

\

n=

(1; 1 =n) = f! :! < 1 =n; for all n  1 g:

Now, if! < 1 =n for all n  1, then! cannot b e p ositive; i.e., we must have

!  0. Conversely, if!  0, then for all n  1,!  0 < 1 =n. It follows that

^1

n=

(1; 1 =n) = (1; 0]:

Consider the in nite union,

[^1

n=

(1; 1 =n] = f! :!  1 =n; for some n  1 g:

Now, if!  1 =n for some n  1, then we must have! < 0. Conversely, if

! < 0, then for large enough n,!  1 =n. Thus,

[^1

n=

(1; 1 =n] = (1; 0):

July 18, 2002

1.2 Probability Mo dels 5

In a similar way, one can show that

^1

n=

[0; 1 =n) = f 0 g;

as well as

[^1

n=

(1; n] = (1; 1 ) and

^1

n=

(1; n] = 6 :

The following generalized distributive laws also hold,

B \

 [ 1

n=

An

[^1

n=

(B \ An );

and

B [

 \ 1

n=

An

^1

n=

(B [ An ):

We also have the generalized DeMorgan's laws,

 \ 1

n=

An

c

[^1

n=

Acn ;

and  1

[

n=

An

c

^1

n=

Acn :

Finally, we will need the following de nition. We say that subsets An ; n =

1 ; 2 ; : : : ; are pairwise disjoint if An \ Am = 6 for all n 6 = m.

1.2. Probability Mo dels

Consider the exp eriment of tossing a fair die and measuring, i.e., noting, the face turned up. Our intuition tells us that the \probability" of the ith face turning up is 1 =6, and that the \probability" of a face with an even numb er of dots turning up is 1 =2. Here is a mathematical model for this exp eriment and measurement. Let b e any set containing six p oints. We call the sample space. Each p oint in corresp onds to, or mo dels, a p ossible outcome of the exp eriment. For simplicity, let

:= f 1 ; 2 ; 3 ; 4 ; 5 ; 6 g:

Now put

Fi := fig; i = 1 ; 2 ; 3 ; 4 ; 5 ; 6 ;

July 18, 2002

1.2 Probability Mo dels 7

This problem is typical of the kinds of \word problems" to which probability theory is applied to analyze well-de ned physical exp eriments. The application of probability theory requires the mo deler to take the following steps:

1. Select a suitable sample space.
2. De ne }(A) for all events A.
3. Translate the given \word problem" into a problem requiring the calcu- lation of }(E ) for some sp eci c event E. The following example gives a family of constructions that can b e used to mo del exp eriments having a nite numb er of p ossible outcomes.

Examp le 1.3. Let M b e a p ositive integer, and put := f 1 ; 2 ; : : : ; M g.

Next, let p(1); : : : ; p(M ) b e nonnegative real numb ers such that

PM

! =1 p(!^ )^ =^ 1.

For any subset A  , put

}(A) :=

X

! 2 A

p(! ):

In particular, to mo del equally likely outcomes, or equivalently, outcomes that

o ccur \at random," we take p(! ) = 1 =M. In this case, }(A) reduces to jAj=j j.

Examp le 1.4. A single card is drawn at random from a well-shued deck of playing cards. Find the probability of drawing an ace. Also nd the proba- bility of drawing a face card.

So lutio n. The rst step in the solution is to sp ecify the sample space and the probability }. Since there are 52 p ossible outcomes, we take :=

f 1 ; : : : ; 52 g. Each integer corresp onds to one of the cards in the deck. To sp ecify

}, we must de ne }(E ) for all events E . Since all cards are equally likely

to b e drawn, we put }(E ) := jE j=j j.

To nd the desired probabilities, let 1 ; 2 ; 3 ; 4 corresp ond to the four aces, and let 41 ; : : : ; 52 corresp ond to the 12 face cards. We identify the drawing of an ace

with the event A := f 1 ; 2 ; 3 ; 4 g, and we identify the drawing of a face card with

the event F := f 41 ; : : : ; 52 g. It then follows that }(A) = jAj= 52 = 4 = 52 = 1 = 13

and }(F ) = jF j= 52 = 12 = 52 = 3 =13.

While the sample spaces in Example 1.3 can mo del any exp eriment with a nite numb er of outcomes, it is often convenient to use alternative sample spaces.

Examp le 1.5. Supp ose that we have two well-shued decks of cards, and we draw one card at random from each deck. What is the probability of drawing the ace of spades followed by the jack of hearts? What is the probability of drawing an ace and a jack (in either order)?

July 18, 2002

8 Chap. 1 Intro duction to Probability

So lutio n. The rst step in the solution is to sp ecify the sample space and the probability }. Since there are 52 p ossibilities for each draw, there are

522 = 2,704 p ossible outcomes when drawing two cards. Let D := f 1 ; : : : ; 52 g,

and put

:= f(i; j ) : i; j 2 D g:

Then j j = jD j^2 = 522 = 2,704 as required. Since all pairs are equally likely,

we put }(E ) := jE j=j j for arbitrary events E .

As in the preceding example, we denote the aces by 1 ; 2 ; 3 ; 4. We let 1 denote the ace of spades. We also denote the jacks by 41 ; 42 ; 43 ; 4 4, and the jack of hearts by 42. The drawing of the ace of spades followed by the jack of hearts is identi ed with the event

A := f(1; 42)g;

and so }(A) = 1 =2,704  0 :000370. The drawing of an ace and a jack is

identi ed with B := Ba j [ Bja , where

Ba j :=

(i; j ) : i 2 f 1 ; 2 ; 3 ; 4 g and j 2 f 41 ; 42 ; 43 ; 44 g

corresp onds to the drawing of an ace followed by a jack, and

Bja :=

(i; j ) : i 2 f 41 ; 42 ; 43 ; 44 g and j 2 f 1 ; 2 ; 3 ; 4 g

corresp onds to the drawing of a jack followed by an ace. Since Ba j and Bja are

disjoint, }(B ) = }(Ba j ) + }^ (Bja ) = (jBa j j + jBja j)=j j. Since jBa j j = jBja j = 16,

}(B ) = 2
16 =2,704 = 2 = 169  0 :0118.

Examp le 1.6. Two cards are drawn at random from a single well-shued deck of playing cards. What is the probability of drawing the ace of spades followed by the jack of hearts? What is the probability of drawing an ace and a jack (in either order)?

So lutio n. The rst step in the solution is to sp ecify the sample space and the probability }. There are 52 p ossibilities for the rst draw and 51 p ossibilities

for the second. Hence, the sample space should contain 52
51 = 2,652 elements.

Using the notation of the preceding example, we take

:= f(i; j ) : i; j 2 D with i 6 = j g;

Note that j j = 522 52 = 2,652 as required. Again, all such pairs are equally

likely, and so we take }(E ) := jE j=j j for arbitrary events E . The events

A and B are de ned as b efore, and the calculation is the same except that

j j = 2,652 instead of 2,704. Hence, }(A) = 1 =2,652  0 :000377, and }(B ) =

July 18, 2002